ترجمه فارسی مقاله ترازبندی ABC: ترازبندی مدل زبان بزرگ برای ایمنی و دقت

چکیده

Alignment of Large Language Models (LLMs) remains an unsolved problem. Human preferences are highly distributed and can be captured at multiple levels of abstraction, from the individual to diverse populations. Organisational preferences, represented by standards and principles, are defined to mitigate reputational risk or meet legislative obligations. In this paper, we present ABC Align, a novel alignment methodology for LLMs that enables integration of the standards and preferences of a large media organisation into the LLM itself. We combine a set of data and methods that build on recent breakthroughs in synthetic data generation, preference optimisation, and post-training model quantisation. Our unified approach mitigates bias and improves accuracy, while preserving reasoning capability, as measured against standard benchmarks.

چکیده به فارسی (ترجمه ماشینی)

تراز مدل های بزرگ زبان (LLMS) یک مشکل حل نشده است.ترجیحات انسانی بسیار توزیع شده و می توانند در چندین سطح انتزاع ، از فرد تا جمعیت متنوع اسیر شوند.ترجیحات سازمانی ، که مطابق با استانداردها و اصول ارائه شده است ، برای کاهش ریسک شهرت یا رعایت تعهدات قانونی تعریف شده است.در این مقاله ، ما ABC Align ، یک روش تراز جدید برای LLM ها را ارائه می دهیم که ادغام استانداردها و ترجیحات یک سازمان بزرگ رسانه ای را در خود LLM امکان پذیر می کند.ما مجموعه ای از داده ها و روش هایی را که بر پیشرفت های اخیر در تولید داده های مصنوعی ، بهینه سازی اولویت و اندازه گیری مدل پس از آموزش ایجاد می شود ، ترکیب می کنیم.رویکرد یکپارچه ما تعصب را کاهش می دهد و ضمن حفظ توانایی استدلال ، همانطور که در برابر معیارهای استاندارد اندازه گیری می شود ، دقت را بهبود می بخشد.