ترجمه فارسی مقاله قوانین مقیاس‌بندی برای مسمومیت با داده‌ها در LLMها

چکیده

Recent work shows that LLMs are vulnerable to data poisoning, in which they are trained on partially corrupted or harmful data. Poisoned data is hard to detect, breaks guardrails, and leads to undesirable and harmful behavior. Given the intense efforts by leading labs to train and deploy increasingly larger and more capable LLMs, it is critical to ask if the risk of data poisoning will be naturally mitigated by scale, or if it is an increasing threat. We consider three threat models by which data poisoning can occur: malicious fine-tuning, imperfect data curation, and intentional data contamination. Our experiments evaluate the effects of data poisoning on 23 frontier LLMs ranging from 1.5-72 billion parameters on three datasets which speak to each of our threat models. We find that larger LLMs are increasingly vulnerable, learning harmful behavior significantly more quickly than smaller LLMs with even minimal data poisoning. These results underscore the need for robust safeguards against data poisoning in larger LLMs.

چکیده به فارسی (ترجمه ماشینی)

کار اخیر نشان می دهد که LLM ها در برابر مسمومیت با داده ها آسیب پذیر هستند ، که در آن در مورد داده های جزئی فاسد یا مضر آموزش دیده اند.تشخیص داده های مسموم دشوار است ، GuardRails را می شکند و منجر به رفتار نامطلوب و مضر می شود.با توجه به تلاش های شدید آزمایشگاه های پیشرو برای آموزش و استقرار LLM های بزرگتر و توانمندتر ، بسیار مهم است که بپرسیم آیا خطر مسمومیت داده به طور طبیعی توسط مقیاس کاهش می یابد یا اینکه آیا این یک تهدید فزاینده است.ما سه مدل تهدید را در نظر می گیریم که با استفاده از آن می توان مسمومیت با داده ها رخ داد: تنظیم دقیق مخرب ، درمان ناقص داده ها و آلودگی داده های عمدی.آزمایشات ما اثرات مسمومیت با داده ها را در 23 LLMS مرزی از 1.5-72 میلیارد پارامتر در سه مجموعه داده که با هر یک از مدل های تهدید ما صحبت می کنند ، ارزیابی می کند.ما می دانیم که LLM های بزرگتر به طور فزاینده ای آسیب پذیر هستند و رفتار مضر را به طور قابل توجهی سریعتر از LLM های کوچکتر با مسمومیت با حداقل داده ها می آموزند.این نتایج بر لزوم محافظت قوی در برابر مسمومیت با داده در LLM های بزرگتر تأکید می کند.