ترجمه فارسی مقاله حفاظت از حق نسخه برداری از مدل های زبانی از پیش آموزش دیده پزشکی: علامت گذاری درب پشتی بدون آموزش

چکیده

Pre-training language models followed by fine-tuning on specific tasks is standard in NLP, but traditional models often underperform when applied to the medical domain, leading to the development of specialized medical pre-trained language models (Med-PLMs). These models are valuable assets but are vulnerable to misuse and theft, requiring copyright protection. However, no existing watermarking methods are tailored for Med-PLMs, and adapting general PLMs watermarking techniques to the medical domain faces challenges such as task incompatibility, loss of fidelity, and inefficiency. To address these issues, we propose the first training-free backdoor watermarking method for Med-PLMs. Our method uses rare special symbols as trigger words, which do not impact downstream task performance, embedding watermarks by replacing their original embeddings with those of specific medical terms in the Med-PLMs’ word embeddings layer. After fine-tuning the watermarked Med-PLMs on various medical downstream tasks, the final models (FMs) respond to the trigger words in the same way they would to the corresponding medical terms. This property can be utilized to extract the watermark. Experiments demonstrate that our method achieves high fidelity while effectively extracting watermarks across various medical downstream tasks. Additionally, our method demonstrates robustness against various attacks and significantly enhances the efficiency of watermark embedding, reducing the embedding time from 10 hours to 10 seconds.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبان قبل از آموزش و به دنبال تنظیم دقیق در کارهای خاص در NLP استاندارد است ، اما مدل های سنتی اغلب هنگام استفاده از حوزه پزشکی تحت تأثیر قرار می گیرند و منجر به توسعه مدلهای تخصصی زبان از قبل آموزش یافته پزشکی (MED-PLMS) می شوند.این مدل ها دارایی های ارزشمندی هستند اما در برابر سوء استفاده و سرقت آسیب پذیر هستند و نیاز به محافظت از حق چاپ دارند.با این حال ، هیچ روش علامت گذاری موجود در MED-PLM متناسب نیست ، و تکنیک های علامت گذاری عمومی PLMS را با دامنه پزشکی تطبیق می دهد ، با چالش هایی مانند ناسازگاری کار ، از دست دادن وفاداری و ناکارآمدی روبرو نیست.برای پرداختن به این مسائل ، ما اولین روش علامت گذاری بدون در حالی را برای MED-PLMS ارائه می دهیم.روش ما از نمادهای ویژه نادر به عنوان کلمات ماشه استفاده می کند ، که بر عملکرد کار در پایین دست تأثیر نمی گذارد ، و با جایگزینی تعبیه های اصلی آنها با اصطلاحات پزشکی خاص در لایه تعبیه شده کلمه Med-PLMS ، علامت های علامت گذاری را تعبیه می کند.پس از تنظیم دقیق MED-PLM های علامت گذاری شده در کارهای مختلف پایین دست پزشکی ، مدل های نهایی (FMS) به کلمات ماشه به همان روشی که به شرایط پزشکی مربوطه پاسخ می دهند ، پاسخ می دهند.از این خاصیت می توان برای استخراج علامت استفاده کرد.آزمایشات نشان می دهد که روش ما به وفاداری بالایی دست می یابد در حالی که به طور موثری علامت های آبی را در کارهای مختلف پایین دست پزشکی استخراج می کند.علاوه بر این ، روش ما نشان دهنده استحکام در برابر حملات مختلف است و به طور قابل توجهی کارایی تعبیها را افزایش می دهد و زمان تعبیه را از 10 ساعت به 10 ثانیه کاهش می دهد.