ترجمه فارسی مقاله مدل‌های انتشار ترکیبی: ترکیب پیش‌آموزش نظارت‌شده و مولد برای تنظیم دقیق مدل‌های قطعه‌بندی با برچسب کارآمد

چکیده

We are considering in this paper the task of label-efficient fine-tuning of segmentation models: We assume that a large labeled dataset is available and allows to train an accurate segmentation model in one domain, and that we have to adapt this model on a related domain where only a few samples are available. We observe that this adaptation can be done using two distinct methods: The first method, supervised pretraining, is simply to take the model trained on the first domain using classical supervised learning, and fine-tune it on the second domain with the available labeled samples. The second method is to perform self-supervised pretraining on the first domain using a generic pretext task in order to get high-quality representations which can then be used to train a model on the second domain in a label-efficient way. We propose in this paper to fuse these two approaches by introducing a new pretext task, which is to perform simultaneously image denoising and mask prediction on the first domain. We motivate this choice by showing that in the same way that an image denoiser conditioned on the noise level can be considered as a generative model for the unlabeled image distribution using the theory of diffusion models, a model trained using this new pretext task can be considered as a generative model for the joint distribution of images and segmentation masks under the assumption that the mapping from images to segmentation masks is deterministic. We then empirically show on several datasets that fine-tuning a model pretrained using this approach leads to better results than fine-tuning a similar model trained using either supervised or unsupervised pretraining only.

چکیده به فارسی (ترجمه ماشینی)

ما در این مقاله وظیفه تنظیم دقیق برچسب مدل های تقسیم بندی را در نظر می گیریم: فرض می کنیم که یک مجموعه داده بزرگ دارای برچسب در دسترس است و اجازه می دهد تا یک مدل تقسیم بندی دقیق را در یک دامنه آموزش دهیم ، و ما باید این مدل را بر روی یک تطبیق دهیمدامنه مرتبط که فقط چند نمونه در دسترس است.ما مشاهده می کنیم که این سازگاری می تواند با استفاده از دو روش مجزا انجام شود: روش اول ، تحت نظارت ، صرفاً گرفتن مدل آموزش داده شده در دامنه اول با استفاده از یادگیری تحت نظارت کلاسیک و تنظیم دقیق آن در دامنه دوم با نمونه های دارای برچسب موجودبشرروش دوم این است که پیش فرض خودآزمایی شده در دامنه اول با استفاده از یک کار بهانه عمومی به منظور به دست آوردن بازنمایی های با کیفیت بالا که می تواند برای آموزش یک مدل در دامنه دوم به روش کارآمد برچسب استفاده شود ، انجام شود.ما در این مقاله پیشنهاد می کنیم که با معرفی یک کار بهانه جدید ، این دو رویکرد را که انجام همزمان تصویر و پیش بینی ماسک در دامنه اول است ، این دو رویکرد را فیوز کنید.ما این انتخاب را با نشان دادن اینكه به همان روشی كه یك تصویر Denoiser در سطح نویز شرطی می كند ، می تواند به عنوان یك الگوی تولیدی برای توزیع تصویر بدون برچسب با استفاده از تئوری مدلهای انتشار در نظر گرفته شود ، مدلی كه با استفاده از این كار بهانه جدید آموزش داده می شود ، در نظر گرفته شود.به عنوان یک مدل تولیدی برای توزیع مشترک تصاویر و ماسک های تقسیم بندی با این فرض که نقشه برداری از تصاویر به ماسک های تقسیم بندی قطعی است.ما سپس به صورت تجربی در چندین مجموعه داده نشان می دهیم که تنظیم دقیق یک مدل پیش فرض با استفاده از این رویکرد منجر به نتایج بهتر از تنظیم دقیق یک مدل مشابه با استفاده از پیش فرض تحت نظارت یا نظارت نشده می شود.