مقاله یک چشم انداز تخمین چگالی در یادگیری از ترجیحات انسانی دوگانه

چکیده

Learning from human feedback (LHF) — and in particular learning from pairwise preferences — has recently become a crucial ingredient in training large language models (LLMs), and has been the subject of much research. Most recent works frame it as a reinforcement learning problem, where a reward function is learned from pairwise preference data and the LLM is treated as a policy which is adapted to maximize the rewards, often under additional regularization constraints. We propose an alternative interpretation which centers on the generative process for pairwise preferences and treats LHF as a density estimation problem. We provide theoretical and empirical results showing that for a family of generative processes defined via preference behavior distribution equations, training a reward function on pairwise preferences effectively models an annotator’s implicit preference distribution. Finally, we discuss and present findings on “annotator misspecification” — failure cases where wrong modeling assumptions are made about annotator behavior, resulting in poorly-adapted models — suggesting that approaches that learn from pairwise human preferences could have trouble learning from a population of annotators with diverse viewpoints.

چکیده به فارسی (ترجمه ماشینی)

یادگیری از بازخورد انسان (LHF) – و به ویژه یادگیری از ترجیحات زوج – اخیراً به یک ماده مهم در آموزش مدلهای بزرگ زبان (LLM) تبدیل شده است و موضوع تحقیقات زیادی بوده است.بسیاری از آثار اخیر آن را به عنوان یک مشکل یادگیری تقویت کننده قاب می کنند ، جایی که یک عملکرد پاداش از داده های اولویت زوج آموخته می شود و LLM به عنوان سیاستی که برای به حداکثر رساندن پاداش ها سازگار است ، اغلب تحت محدودیت های منظم اضافی رفتار می شود.ما یک تفسیر جایگزین را پیشنهاد می کنیم که در فرآیند تولیدی برای ترجیحات زوجی متمرکز شده و LHF را به عنوان یک مشکل تخمین چگالی درمان می کند.ما نتایج نظری و تجربی را ارائه می دهیم که نشان می دهد برای خانواده ای از فرآیندهای تولیدی تعریف شده از طریق معادلات توزیع رفتار ترجیح ، آموزش یک عملکرد پاداش در ترجیحات زوج به طور مؤثر از توزیع اولویت ضمنی حاشیه نویسی مدل می کند.سرانجام ، ما در مورد “غلط گیری حاشیه نویسی” یافته ها بحث و ارائه می دهیم-موارد شکست که فرضیات مدل سازی نادرست در مورد رفتار حاشیه نویسی انجام می شود ، و در نتیجه مدل های سازگار با ضعیف ایجاد می شود-نشان می دهد که رویکردهایی که از ترجیحات انسانی زوجی می آموزند می تواند در یادگیری از جمعیت مشکل داشته باشدحاشیه نویسان با دیدگاههای متنوع.