ترجمه فارسی مقاله تراز ارزش از متن بدون ساختار

چکیده

Aligning large language models (LLMs) to value systems has emerged as a significant area of research within the fields of AI and NLP. Currently, this alignment process relies on the availability of high-quality supervised and preference data, which can be both time-consuming and expensive to curate or annotate. In this paper, we introduce a systematic end-to-end methodology for aligning LLMs to the implicit and explicit values represented in unstructured text data. Our proposed approach leverages the use of scalable synthetic data generation techniques to effectively align the model to the values present in the unstructured data. Through two distinct use-cases, we demonstrate the efficiency of our methodology on the Mistral-7B-Instruct model. Our approach credibly aligns LLMs to the values embedded within documents, and shows improved performance against other approaches, as quantified through the use of automatic metrics and win rates.

چکیده به فارسی (ترجمه ماشینی)

تراز کردن مدلهای بزرگ زبان (LLMS) به سیستم های ارزشمند به عنوان منطقه قابل توجهی از تحقیقات در زمینه های AI و NLP ظاهر شده است.در حال حاضر ، این فرآیند تراز به در دسترس بودن داده های نظارتی و ترجیح بالا متکی است ، که می تواند هم زمان و هم گران قیمت برای درمان یا حاشیه نویسی باشد.در این مقاله ، ما یک روش سیستماتیک پایان به پایان را برای تراز کردن LLM ها با مقادیر ضمنی و صریح نشان داده شده در داده های متن بدون ساختار معرفی می کنیم.رویکرد پیشنهادی ما استفاده از تکنیک های تولید داده مصنوعی مقیاس پذیر را برای تراز کردن موثر مدل با مقادیر موجود در داده های بدون ساختار اعمال می کند.از طریق دو مورد استفاده مجزا ، ما کارآیی روش خود را در مدل مدرک mistral-7b نشان می دهیم.رویکرد ما به طور معتبر LLM ها را با مقادیر تعبیه شده در اسناد تراز می کند و عملکرد بهبود یافته در برابر سایر رویکردها را نشان می دهد ، همانطور که از طریق استفاده از معیارهای اتوماتیک و نرخ پیروزی اندازه گیری می شود.