ترجمه فارسی مقاله تایید کننده های مولد: مدل سازی پاداش به عنوان پیش بینی رمز بعدی

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Generative Verifiers: Reward Modeling as Next-Token Prediction
عنوان مقاله به فارسی تایید کننده های مولد: مدل سازی پاداش به عنوان پیش بینی رمز بعدی
نویسندگان Lunjun Zhang, Arian Hosseini, Hritik Bansal, Mehran Kazemi, Aviral Kumar, Rishabh Agarwal
فرمت مقاله انگلیسی PDF
تعداد صفحات 34
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,یادگیری ماشین ,
توضیحات Submitted 27 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 27 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Verifiers or reward models are often used to enhance the reasoning performance of large language models (LLMs). A common approach is the Best-of-N method, where N candidate solutions generated by the LLM are ranked by a verifier, and the best one is selected. While LLM-based verifiers are typically trained as discriminative classifiers to score solutions, they do not utilize the text generation capabilities of pretrained LLMs. To overcome this limitation, we instead propose training verifiers using the ubiquitous next-token prediction objective, jointly on verification and solution generation. Compared to standard verifiers, such generative verifiers (GenRM) can benefit from several advantages of LLMs: they integrate seamlessly with instruction tuning, enable chain-of-thought reasoning, and can utilize additional inference-time compute via majority voting for better verification. We demonstrate that when using Gemma-based verifiers on algorithmic and grade-school math reasoning tasks, GenRM outperforms discriminative verifiers and LLM-as-a-Judge, showing a 16-64% improvement in the percentage of problems solved with Best-of-N. Furthermore, we show that GenRM scales favorably across dataset size, model capacity, and inference-time compute.

چکیده به فارسی (ترجمه ماشینی)

از تأییدیه ها یا مدل های پاداش اغلب برای تقویت عملکرد استدلال مدل های بزرگ زبان (LLMS) استفاده می شود.یک رویکرد متداول بهترین روش از N است ، که در آن راه حل های کاندیدای N تولید شده توسط LLM توسط یک تأیید کننده رتبه بندی می شوند و بهترین گزینه انتخاب می شود.در حالی که تأیید کننده های مبتنی بر LLM به طور معمول به عنوان طبقه بندی کننده های تبعیض آمیز برای به دست آوردن راه حل ها آموزش داده می شوند ، آنها از قابلیت تولید متن LLM های پیش ساخته استفاده نمی کنند.برای غلبه بر این محدودیت ، ما به جای آن ، تأییدیه های آموزشی را با استفاده از هدف پیش بینی همه جانبه در آینده ، به طور مشترک در مورد تأیید و تولید راه حل پیشنهاد می کنیم.در مقایسه با تأییدیه های استاندارد ، چنین تأیید کننده های تولیدی (GENRM) می توانند از چندین مزیت LLMS بهره مند شوند: آنها یکپارچه با تنظیم دستورالعمل ادغام می شوند ، استدلال زنجیره ای را فعال می کنند و می توانند از طریق رای گیری اکثریت برای تأیید بهتر ، از محاسبات اضافی زمان استنتاج استفاده کنند.ما نشان می دهیم که هنگام استفاده از تأییدیه های مبتنی بر GEMMA در کارهای استدلال ریاضی الگوریتمی و کلاس-مدرسه ، GENRM از تأیید کننده های تبعیض آمیز و LLM-AS-A-Judge استفاده می کند ، و نشان می دهد 16-64 ٪ در درصد مشکلات حل شده با بهترین حالتN.علاوه بر این ، ما نشان می دهیم که مقیاس GenRM در اندازه مجموعه داده ها ، ظرفیت مدل و محاسبه زمان استنتاج مطلوب است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.