Computation and Language,Artificial Intelligence,Cryptography and Security,Machine Learning,محاسبات و زبان , هوش مصنوعی , رمزنگاری و امنیت , یادگیری ماشین ,
توضیحات
Submitted 20 August, 2024; originally announced August 2024. , Comments: 13 pages
توضیحات به فارسی
20 اوت 2024 ارسال شد.در ابتدا اوت 2024 اعلام شد. ، نظرات: 13 صفحه
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
LLM have achieved success in many fields but still troubled by problematic content in the training corpora. LLM unlearning aims at reducing their influence and avoid undesirable behaviours. However, existing unlearning methods remain vulnerable to adversarial queries and the unlearned knowledge resurfaces after the manually designed attack queries. As part of a red-team effort to proactively assess the vulnerabilities of unlearned models, we design Dynamic Unlearning Attack (DUA), a dynamic and automated framework to attack these models and evaluate their robustness. It optimizes adversarial suffixes to reintroduce the unlearned knowledge in various scenarios. We find that unlearned knowledge can be recovered in $55.2\%$ of the questions, even without revealing the unlearned model's parameters. In response to this vulnerability, we propose Latent Adversarial Unlearning (LAU), a universal framework that effectively enhances the robustness of the unlearned process. It formulates the unlearning process as a min-max optimization problem and resolves it through two stages: an attack stage, where perturbation vectors are trained and added to the latent space of LLMs to recover the unlearned knowledge, and a defense stage, where previously trained perturbation vectors are used to enhance unlearned model's robustness. With our LAU framework, we obtain two robust unlearning methods, AdvGA and AdvNPO. We conduct extensive experiments across multiple unlearning benchmarks and various models, and demonstrate that they improve the unlearning effectiveness by over $53.5\%$, cause only less than a $11.6\%$ reduction in neighboring knowledge, and have almost no impact on the model's general capabilities.
چکیده به فارسی (ترجمه ماشینی)
LLM در بسیاری از زمینه ها به موفقیت رسیده است ، اما هنوز هم با محتوای مشکل ساز در شرکت های آموزشی مشکل دارد.LLM Unlarning با هدف کاهش تأثیر آنها و جلوگیری از رفتارهای نامطلوب است.با این حال ، روشهای موجود در زمینه ترغیب موجود در معرض نمایش داده های مخالف و مجدداً از دانش غیرقانونی پس از نمایش داده های حمله دستی ، آسیب پذیر هستند.به عنوان بخشی از یک تلاش تیم قرمز برای ارزیابی پیشگیرانه آسیب پذیری های مدل های غیرقابل تحمل ، ما حمله به آشکار سازی پویا (DUA) ، یک چارچوب پویا و خودکار را برای حمله به این مدل ها و ارزیابی استحکام آنها طراحی می کنیم.این پسوندهای مخالف را بهینه می کند تا دانش موجود در سناریوهای مختلف را بازگرداند.ما می دانیم که دانش غیرقانونی می تواند در 55.2 $ \ ٪ $ از سؤالات بازیابی شود ، حتی بدون آشکار کردن پارامترهای مدل غیرقانونی.در پاسخ به این آسیب پذیری ، ما پیشنهاد می کنیم که آراء مخالف نهفته (LAU) ، یک چارچوب جهانی که به طور موثری استحکام فرآیند موجود را تقویت می کند.این روند فرآیند را به عنوان یک مشکل بهینه سازی حداقل حداکثر تدوین می کند و آن را در دو مرحله حل می کند: یک مرحله حمله ، که در آن بردارهای آشفتگی آموزش دیده و به فضای نهفته LLM ها برای بازیابی دانش موجود و یک مرحله دفاعی ، که قبلاً آموزش دیده است ، اضافه می شوند.از بردارهای آشفتگی برای تقویت استحکام مدل موجود استفاده می شود.با چارچوب LAU ما ، ما دو روش آماری درآمدی ، Advga و Advnpo را به دست می آوریم.ما آزمایش های گسترده ای را در معیارهای مختلف آشکار سازی و مدل های مختلف انجام می دهیم و نشان می دهیم که آنها اثربخشی فرسوده را با بیش از 53.5 \ $ $ بهبود می بخشند ، فقط باعث کاهش 11.6 $ $ $ در دانش همسایه نمی شوند و تقریباً هیچ تاثیری در کلی مدل ندارندقابلیت ها
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
