ترجمه فارسی مقاله به سمت یادگیری دانش قوی و مقرون به صرفه برای مدل های بزرگ زبان

چکیده

Large Language Models (LLMs) have demonstrated strong reasoning and memorization capabilities via pretraining on massive textual corpora. However, training LLMs on human-written text entails significant risk of privacy and copyright violations, which demands an efficient machine unlearning framework to remove knowledge of sensitive data without retraining the model from scratch. While Gradient Ascent (GA) is widely used for unlearning by reducing the likelihood of generating unwanted information, the unboundedness of increasing the cross-entropy loss causes not only unstable optimization, but also catastrophic forgetting of knowledge that needs to be retained. We also discover its joint application under low-rank adaptation results in significantly suboptimal computational cost vs. generative performance trade-offs. In light of this limitation, we propose two novel techniques for robust and cost-efficient unlearning on LLMs. We first design an Inverted Hinge loss that suppresses unwanted tokens by increasing the probability of the next most likely token, thereby retaining fluency and structure in language generation. We also propose to initialize low-rank adapter weights based on Fisher-weighted low-rank approximation, which induces faster unlearning and better knowledge retention by allowing model updates to be focused on parameters that are important in generating textual data we wish to remove.

چکیده به فارسی (ترجمه ماشینی)

مدلهای بزرگ زبان (LLM) از طریق پیشگویی در شرکتهای عظیم متنی ، توانایی های استدلال و یادآوری قوی را نشان داده اند.با این حال ، آموزش LLMS بر روی متن نوشته شده انسان مستلزم خطر قابل توجهی از حریم خصوصی و نقض حق چاپ است ، که خواستار یک چارچوب کارآیی کارآمد برای حذف دانش از داده های حساس بدون بازیابی مدل از ابتدا است.در حالی که صعود شیب (GA) با کاهش احتمال تولید اطلاعات ناخواسته ، به طور گسترده ای برای عدم استفاده از آن استفاده می شود ، عدم محدودیت افزایش از دست دادن متقابل آنتروپی باعث نه تنها بهینه سازی ناپایدار می شود ، بلکه فراموشی فاجعه آمیز دانش را که باید حفظ شود نیز فراموش می کند.ما همچنین کاربرد مشترک آن را با نتایج سازگاری با رتبه پایین در هزینه محاسباتی به طور قابل توجهی زیر حد متوسط ​​در مقابل معاملات تولیدی تولید می کنیم.با توجه به این محدودیت ، ما دو روش جدید را برای آراء قوی و مقرون به صرفه در LLM ها پیشنهاد می کنیم.ما ابتدا یک ضایعات لولا معکوس را طراحی می کنیم که نشانه های ناخواسته را با افزایش احتمال تورم بعدی بعدی سرکوب می کند و از این طریق تسلط و ساختار در تولید زبان را حفظ می کند.ما همچنین پیشنهاد می کنیم که وزن های آداپتور کم رتبه را بر اساس تقریب کمتری با وزن کم فیشر ، که باعث می شود آستر سریعتر و حفظ دانش بهتر با اجازه دادن به روزرسانی های مدل بر روی پارامترهایی که در تولید داده های متنی مهم هستند ، متمرکز کنیم.