مقاله TCuPGAN: یک چارچوب جدید ایجاد شده برای بهینه سازی تعامل انسان و ماشین در دانش شهروندی

چکیده

In the era of big data in scientific research, there is a necessity to leverage techniques which reduce human effort in labeling and categorizing large datasets by involving sophisticated machine tools. To combat this problem, we present a novel, general purpose model for 3D segmentation that leverages patch-wise adversariality and Long Short-Term Memory to encode sequential information. Using this model alongside citizen science projects which use 3D datasets (image cubes) on the Zooniverse platforms, we propose an iterative human-machine optimization framework where only a fraction of the 2D slices from these cubes are seen by the volunteers. We leverage the patch-wise discriminator in our model to provide an estimate of which slices within these image cubes have poorly generalized feature representations, and correspondingly poor machine performance. These images with corresponding machine proposals would be presented to volunteers on Zooniverse for correction, leading to a drastic reduction in the volunteer effort on citizen science projects. We trained our model on ~2300 liver tissue 3D electron micrographs. Lipid droplets were segmented within these images through human annotation via the `Etch A Cell – Fat Checker’ citizen science project, hosted on the Zooniverse platform. In this work, we demonstrate this framework and the selection methodology which resulted in a measured reduction in volunteer effort by more than 60%. We envision this type of joint human-machine partnership will be of great use on future Zooniverse projects.

چکیده به فارسی (ترجمه ماشینی)

در دوره داده های بزرگ در تحقیقات علمی ، برای استفاده از تکنیک هایی که باعث کاهش تلاش انسان در برچسب زدن و طبقه بندی مجموعه داده های بزرگ با درگیر کردن ابزارهای پیشرفته ماشین می شود ، ضروری است.برای مقابله با این مشکل ، ما یک مدل جدید و هدف کلی برای تقسیم بندی سه بعدی ارائه می دهیم که از طرف مقابل و پچ و حافظه کوتاه مدت طولانی برای رمزگذاری اطلاعات پی در پی استفاده می کند.با استفاده از این مدل در کنار پروژه های علمی Citizen که از مجموعه داده های سه بعدی (مکعب های تصویر) در سکوهای Zooniverse استفاده می کنند ، ما یک چارچوب بهینه سازی تکراری انسان را پیشنهاد می کنیم که در آن تنها بخشی از برش های 2D از این مکعب ها توسط داوطلبان مشاهده می شود.ما از تبعیض آمیز پچ در مدل خود استفاده می کنیم تا تخمین ای از این که برش های موجود در این مکعب های تصویر دارای بازنمایی ویژگی های عمومی ضعیف و به همین ترتیب عملکرد دستگاه ضعیف است.این تصاویر با پیشنهادات دستگاه مربوطه برای تصحیح به داوطلبان در Zooniverse ارائه می شود و منجر به کاهش شدید تلاش داوطلبانه در پروژه های علمی شهروندان می شود.ما مدل خود را در میکروگرافهای الکترونی 3D کبد 2300 پوند آموزش دادیم.قطرات لیپید از طریق حاشیه نویسی انسانی از طریق پروژه علمی شهروندی “Etch A Cell – Fat Checker” ، که در سکوی Zooniverse برگزار می شود ، در این تصاویر تقسیم شدند.در این کار ، ما این چارچوب و روش انتخاب را نشان می دهیم که منجر به کاهش اندازه گیری تلاش داوطلبانه بیش از 60 ٪ شد.ما پیش بینی می کنیم که این نوع مشارکت مشترک و ماشین های انسانی در پروژه های آینده Zooniverse بسیار مورد استفاده قرار خواهد گرفت.