ترجمه فارسی مقاله یادگیری در حین فراموشی: یک چارچوب تکرارشونده فراموشی برای مدل‌های زبانی مولد

چکیده

Recent advancements in machine learning, especially in Natural Language Processing (NLP), have led to the development of sophisticated models trained on vast datasets, but this progress has raised concerns about potential sensitive information leakage. In response, regulatory measures like the EU General Data Protection Regulation (GDPR) have driven the exploration of Machine Unlearning techniques, which aim to enable models to selectively forget certain data entries. While early approaches focused on pre-processing methods, recent research has shifted towards training-based machine unlearning methods. However, many existing methods require access to original training data, posing challenges in scenarios where such data is unavailable. Besides, directly facilitating unlearning may undermine the language model’s general expressive ability. To this end, in this paper, we introduce the Iterative Contrastive Unlearning (ICU) framework, which addresses these challenges by incorporating three key components. We propose a Knowledge Unlearning Induction module for unlearning specific target sequences and a Contrastive Learning Enhancement module to prevent degrading in generation capacity. Additionally, an Iterative Unlearning Refinement module is integrated to make the process more adaptive to each target sample respectively. Experimental results demonstrate the efficacy of ICU in maintaining performance while efficiently unlearning sensitive information, offering a promising avenue for privacy-conscious machine learning applications.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های اخیر در یادگیری ماشین ، به ویژه در پردازش زبان طبیعی (NLP) ، منجر به توسعه مدل های پیشرفته آموزش داده شده در مجموعه داده های گسترده شده است ، اما این پیشرفت نگرانی هایی را در مورد نشت اطلاعات حساس بالقوه ایجاد کرده است.در پاسخ ، اقدامات نظارتی مانند مقررات حفاظت از داده های عمومی اتحادیه اروپا (GDPR) اکتشاف تکنیک های فرآورده های دستگاه را هدایت کرده است ، که هدف آن امکان فعال کردن مدل ها برای فراموش کردن برخی از ورودی های داده است.در حالی که رویکردهای اولیه بر روشهای پیش پردازش متمرکز شده است ، تحقیقات اخیر به سمت روشهای فرسوده دستگاه مبتنی بر آموزش تغییر یافته است.با این حال ، بسیاری از روشهای موجود نیاز به دسترسی به داده های آموزش اصلی دارند و در سناریوهایی که چنین داده هایی در دسترس نیستند ، چالش هایی را ایجاد می کنند.علاوه بر این ، تسهیل مستقیم آماری ممکن است توانایی بیان کلی مدل زبان را تضعیف کند.برای این منظور ، در این مقاله ، ما چارچوب تکرار شونده متضاد (ICU) را معرفی می کنیم ، که با ترکیب سه مؤلفه اصلی ، این چالش ها را برطرف می کند.ما یک ماژول القایی آگاهی از دانش را برای آراستگی توالی های هدف خاص و یک ماژول تقویت یادگیری متضاد برای جلوگیری از تخریب ظرفیت تولید پیشنهاد می کنیم.علاوه بر این ، یک ماژول پالایش درآمدهای تکراری یکپارچه شده است تا این روند به ترتیب با هر نمونه هدف سازگارتر شود.نتایج تجربی نشان دهنده اثربخشی ICU در حفظ عملکرد در حالی که به طور کارآمد اطلاعات حساس را نشان می دهد ، یک خیابان امیدوار کننده برای برنامه های یادگیری ماشین آگاهی از حریم خصوصی را ارائه می دهد.