ترجمه فارسی مقاله یک رویکرد یادگیری-دوستانه فدرال برای تنظیم دقیق پارامتر-کارآمد SAM در قطعه‌بندی سه‌بعدی

چکیده

Adapting foundation models for medical image analysis requires finetuning them on a considerable amount of data because of extreme distribution shifts between natural (source) data used for pretraining and medical (target) data. However, collecting task-specific medical data for such finetuning at a central location raises many privacy concerns. Although Federated learning (FL) provides an effective means for training on private decentralized data, communication costs in federating large foundation models can quickly become a significant bottleneck, impacting the solution’s scalability. In this work, we address this problem of efficient communication while ensuring effective learning in FL by combining the strengths of Parameter-Efficient Fine-tuning (PEFT) with FL. Specifically, we study plug-and-play Low-Rank Adapters (LoRA) in a federated manner to adapt the Segment Anything Model (SAM) for 3D medical image segmentation. Unlike prior works that utilize LoRA and finetune the entire decoder, we critically analyze the contribution of each granular component of SAM on finetuning performance. Thus, we identify specific layers to be federated that are very efficient in terms of communication cost while producing on-par accuracy. Our experiments show that retaining the parameters of the SAM model (including most of the decoder) in their original state during adaptation is beneficial because fine-tuning on small datasets tends to distort the inherent capabilities of the underlying foundation model. On Fed-KiTS, our approach decreases communication cost (~48x) compared to full fine-tuning while increasing performance (~6% Dice score) in 3D segmentation tasks. Our approach performs similar to SAMed while achieving ~2.8x reduction in communication and parameters to be finetuned. We further validate our approach with experiments on Fed-IXI and Prostate MRI datasets.

چکیده به فارسی (ترجمه ماشینی)

تطبیق مدل های بنیادی برای تجزیه و تحلیل تصویر پزشکی به دلیل تغییر توزیع شدید بین داده های طبیعی (منبع) مورد استفاده برای داده های پیش از پیش و پزشکی (هدف) ، نیاز به استفاده از داده های قابل توجهی دارد.با این حال ، جمع آوری داده های پزشکی خاص وظیفه برای چنین مواردی در یک مکان مرکزی نگرانی های حریم خصوصی بسیاری را ایجاد می کند.اگرچه یادگیری فدراسیون (FL) وسیله ای مؤثر برای آموزش داده های غیر متمرکز خصوصی فراهم می کند ، هزینه های ارتباطی در فدرال کردن مدل های بنیاد بزرگ می تواند به سرعت به یک تنگنا مهم تبدیل شود و بر مقیاس پذیری راه حل تأثیر می گذارد.در این کار ، ما به این مشکل ارتباطات کارآمد ضمن اطمینان از یادگیری مؤثر در FL با ترکیب نقاط قوت تنظیم دقیق پارامتر (PEFT) با FL ، می پردازیم.به طور خاص ، ما آداپتورهای کم رتبه و پلاگین (LORA) را به روشی فدرال مطالعه می کنیم تا مدل بخش هر چیزی (SAM) را برای تقسیم تصویر پزشکی سه بعدی تطبیق دهیم.بر خلاف آثار قبلی که از Lora و Finetune کل رمزگشایی استفاده می کند ، ما به طور انتقادی سهم هر یک از مؤلفه های دانه ای SAM را در عملکرد Finetuning تجزیه و تحلیل می کنیم.بنابراین ، ما لایه های خاصی را که فدرال می شوند ، شناسایی می کنیم که ضمن تولید دقت از نظر هزینه ارتباطی بسیار کارآمد هستند.آزمایشات ما نشان می دهد که حفظ پارامترهای مدل SAM (از جمله بیشتر رمزگشایی) در حالت اصلی آنها در هنگام سازگاری مفید است زیرا تنظیم دقیق در مجموعه داده های کوچک تمایل به تحریف توانایی های ذاتی مدل بنیاد اساسی دارد.در Fed-KITS ، رویکرد ما در مقایسه با تنظیم کامل و ضمن افزایش عملکرد (نمره 6 ٪ تاس) در کارهای تقسیم بندی سه بعدی ، هزینه ارتباطی (48 برابر) را کاهش می دهد.رویکرد ما در حین دستیابی به کاهش 2.8x پوند در ارتباطات و پارامترها ، عملکردی مشابه SAMED را انجام می دهد.ما بیشتر رویکرد خود را با آزمایش در مورد مجموعه داده های MRI Fed-IXI و پروستات تأیید می کنیم.