ترجمه فارسی مقاله Badmerging: حملات پشتی در برابر ادغام مدل

چکیده

Fine-tuning pre-trained models for downstream tasks has led to a proliferation of open-sourced task-specific models. Recently, Model Merging (MM) has emerged as an effective approach to facilitate knowledge transfer among these independently fine-tuned models. MM directly combines multiple fine-tuned task-specific models into a merged model without additional training, and the resulting model shows enhanced capabilities in multiple tasks. Although MM provides great utility, it may come with security risks because an adversary can exploit MM to affect multiple downstream tasks. However, the security risks of MM have barely been studied. In this paper, we first find that MM, as a new learning paradigm, introduces unique challenges for existing backdoor attacks due to the merging process. To address these challenges, we introduce BadMerging, the first backdoor attack specifically designed for MM. Notably, BadMerging allows an adversary to compromise the entire merged model by contributing as few as one backdoored task-specific model. BadMerging comprises a two-stage attack mechanism and a novel feature-interpolation-based loss to enhance the robustness of embedded backdoors against the changes of different merging parameters. Considering that a merged model may incorporate tasks from different domains, BadMerging can jointly compromise the tasks provided by the adversary (on-task attack) and other contributors (off-task attack) and solve the corresponding unique challenges with novel attack designs. Extensive experiments show that BadMerging achieves remarkable attacks against various MM algorithms. Our ablation study demonstrates that the proposed attack designs can progressively contribute to the attack performance. Finally, we show that prior defense mechanisms fail to defend against our attacks, highlighting the need for more advanced defense.

چکیده به فارسی (ترجمه ماشینی)

مدل های قبل از آموزش دقیق برای کارهای پایین دست منجر به گسترش مدل های خاص کار با منبع باز شده است.به تازگی ، ادغام مدل (MM) به عنوان یک رویکرد مؤثر برای تسهیل انتقال دانش در بین این مدلهای تنظیم شده مستقل ظاهر شده است.MM به طور مستقیم چندین مدل خاص کار با تنظیم دقیق را در یک مدل ادغام شده و بدون آموزش اضافی ترکیب می کند و مدل حاصل قابلیت های پیشرفته ای را در چندین کار نشان می دهد.اگرچه MM ابزار بسیار خوبی را فراهم می کند ، اما ممکن است با خطرات امنیتی همراه باشد زیرا یک دشمن می تواند از MM سوءاستفاده کند تا چندین کار در پایین دست را تحت تأثیر قرار دهد.با این حال ، خطرات امنیتی MM به سختی مورد بررسی قرار گرفته است.در این مقاله ، ابتدا می یابیم که MM ، به عنوان یک الگوی جدید یادگیری ، به دلیل روند ادغام ، چالش های منحصر به فردی را برای حملات موجود در پشتی ارائه می دهد.برای پرداختن به این چالش ها ، ما Badmerging را معرفی می کنیم ، اولین حمله پشتی که به طور خاص برای MM طراحی شده است.نکته قابل توجه ، Badmerging به یک دشمن اجازه می دهد تا کل مدل ادغام شده را با کمک به تعداد کمی از یک مدل خاص کار در پشت به خطر بیاندازد.Badmerging شامل یک مکانیسم حمله دو مرحله ای و یک از دست دادن مبتنی بر ویژگی های جدید برای تقویت استحکام پشتی های تعبیه شده در برابر تغییرات پارامترهای ادغام مختلف است.با توجه به اینکه یک مدل ادغام شده ممکن است وظایف حوزه های مختلف را در بر بگیرد ، Badmerging می تواند به طور مشترک وظایف ارائه شده توسط دشمن (حمله روی کار) و سایر مشارکت کنندگان (حمله خارج از کار) را به خطر بیاندازد و چالش های منحصر به فرد مربوطه را با طرح های حمله جدید حل کند.آزمایش های گسترده نشان می دهد که بدینگ به حملات چشمگیر علیه الگوریتم های مختلف MM دست می یابد.مطالعه فرسایش ما نشان می دهد که طرح های حمله پیشنهادی می توانند به تدریج در عملکرد حمله نقش داشته باشند.سرانجام ، ما نشان می دهیم که مکانیسم های دفاعی قبلی در دفاع از حملات ما ناکام هستند و نیاز به دفاع پیشرفته تر را برجسته می کنند.