ترجمه فارسی مقاله Mia-Tuner: تطبیق مدل های بزرگ زبان به عنوان ردیاب متن قبل از آموزش

چکیده

The increasing parameters and expansive dataset of large language models (LLMs) highlight the urgent demand for a technical solution to audit the underlying privacy risks and copyright issues associated with LLMs. Existing studies have partially addressed this need through an exploration of the pre-training data detection problem, which is an instance of a membership inference attack (MIA). This problem involves determining whether a given piece of text has been used during the pre-training phase of the target LLM. Although existing methods have designed various sophisticated MIA score functions to achieve considerable detection performance in pre-trained LLMs, how to achieve high-confidence detection and how to perform MIA on aligned LLMs remain challenging. In this paper, we propose MIA-Tuner, a novel instruction-based MIA method, which instructs LLMs themselves to serve as a more precise pre-training data detector internally, rather than design an external MIA score function. Furthermore, we design two instruction-based safeguards to respectively mitigate the privacy risks brought by the existing methods and MIA-Tuner. To comprehensively evaluate the most recent state-of-the-art LLMs, we collect a more up-to-date MIA benchmark dataset, named WIKIMIA-24, to replace the widely adopted benchmark WIKIMIA. We conduct extensive experiments across various aligned and unaligned LLMs over the two benchmark datasets. The results demonstrate that MIA-Tuner increases the AUC of MIAs from 0.7 to a significantly high level of 0.9.

چکیده به فارسی (ترجمه ماشینی)

پارامترهای فزاینده و مجموعه داده های گسترده مدل های بزرگ زبان (LLMS) تقاضای فوری برای یک راه حل فنی را برای حسابرسی خطرات حریم خصوصی اساسی و مسائل مربوط به حق چاپ در ارتباط با LLM ها برجسته می کند.مطالعات موجود تا حدی این نیاز را از طریق کاوش در مورد مشکل تشخیص داده های قبل از آموزش ، که نمونه ای از حمله استنتاج عضویت (MIA) است ، مورد بررسی قرار داده است.این مشکل شامل تعیین اینکه آیا یک متن خاص از متن در مرحله قبل از آموزش LLM هدف استفاده شده است یا خیر.اگرچه روشهای موجود توابع مختلف نمره پیشرفته MIA را برای دستیابی به عملکرد قابل توجهی در LLM های از قبل آموزش دیده طراحی کرده اند ، اما چگونگی دستیابی به تشخیص اعتماد به نفس بالا و نحوه انجام MIA در LLM های تراز شده ، چالش برانگیز است.در این مقاله ، ما MIA-Tuner ، یک روش جدید مبتنی بر دستورالعمل MIA را پیشنهاد می کنیم ، که به خود LLM ها دستور می دهد به عنوان یک ردیاب دقیق تر از قبل از آموزش در داخل ، به جای طراحی یک عملکرد نمره MIA خارجی ، خدمت کنند.علاوه بر این ، ما دو حفاظت مبتنی بر دستورالعمل را برای کاهش خطرات حریم خصوصی ناشی از روشهای موجود و MIA-Tuner طراحی می کنیم.برای ارزیابی جامع جدیدترین LLMS پیشرفته ترین LLM ها ، ما یک مجموعه داده معیار MIA به روز تر ، به نام Wikimia-24 را جمع آوری می کنیم تا ویکییمیا معیار گسترده ای را جایگزین کنیم.ما آزمایش های گسترده ای را در بین LLM های مختلف تراز و بدون طراحی بر روی دو مجموعه داده معیار انجام می دهیم.نتایج نشان می دهد که MIA-TUNER AUC MIA را از 0.7 به سطح قابل توجهی از 0.9 افزایش می دهد.