اکسپرس 24
ترجمه فارسی مقاله در باب تعمیم یادگیری ترجیحی با DPO

ترجمه فارسی مقاله در باب تعمیم یادگیری ترجیحی با DPO

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی On the Generalization of Preference Learning with DPO
عنوان مقاله به فارسی در باب تعمیم یادگیری ترجیحی با DPO
نویسندگان Shawn Im, Yixuan Li
فرمت مقاله انگلیسی PDF
تعداد صفحات 26
دسته بندی موضوعات Machine Learning,یادگیری ماشین ,
توضیحات Submitted 12 August, 2024; v1 submitted 6 August, 2024; originally announced August 2024.
توضیحات به فارسی ارائه شده 12 اوت 2024 ؛V1 ارسال شده در 6 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.

قیمت: 19,000 تومان

سفارش

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی، را نیز سفارش می‌دهید.

قیمت: 1,040,000 تومان

زمان تحویل: 2 تا 3 روز کاری

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Large language models (LLMs) have demonstrated remarkable capabilities but often struggle to align with human preferences, leading to harmful or undesirable outputs. Preference learning, which trains models to distinguish between preferred and non-preferred responses based on human feedback, has become a crucial component for ensuring that LLMs align with human values. Despite the widespread adoption in real-world systems, a thorough theoretical understanding of the generalization guarantees for these models remain lacking. This paper bridges that gap by introducing a new theoretical framework to analyze the generalization guarantees of models trained with direct preference optimization (DPO). While existing generalization theory often focuses on overparameterized models achieving near-optimal loss or models independent of the training process, our framework rigorously assesses how well models generalize after a finite number of gradient steps, reflecting real-world LLM training practices. By analyzing the reward margin associated with each sample and its trajectory throughout training, we can effectively bound the generalization error. We derive learning guarantees showing that, under specific conditions, models trained with DPO can correctly discern preferred responses on unseen data with high probability. These insights are empirically validated on contemporary LLMs, underscoring the practical relevance of our theoretical findings.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLM) توانایی های قابل توجهی را نشان داده اند اما اغلب برای تراز کردن با ترجیحات انسانی تلاش می کنند و منجر به خروجی های مضر یا نامطلوب می شوند.یادگیری اولویت ، که مدلهایی را برای تمایز بین پاسخ های ارجح و غیر قبل از بازخورد انسان آموزش می دهد ، به یک مؤلفه مهم برای اطمینان از تراز LLMS با ارزش های انسانی تبدیل شده است.با وجود اتخاذ گسترده در سیستم های دنیای واقعی ، درک کامل نظری از تضمین های تعمیم برای این مدلها وجود ندارد.این مقاله با معرفی یک چارچوب نظری جدید برای تجزیه و تحلیل ضمانت های تعمیم یافته مدلهای آموزش داده شده با بهینه سازی اولویت مستقیم (DPO) ، شکاف می دهد.در حالی که نظریه تعمیم موجود اغلب بر روی مدلهای بیش از حد پارامتری که از دست دادن تقریباً مطلوب یا مدل های مستقل از فرایند آموزش استفاده می کنند ، متمرکز است ، چارچوب ما با دقت ارزیابی می کند که چگونه مدل های خوب پس از تعداد محدودی از مراحل شیب تعمیم می یابد ، و منعکس کننده شیوه های آموزش LLM در دنیای واقعی است.با تجزیه و تحلیل حاشیه پاداش مرتبط با هر نمونه و مسیر آن در طول آموزش ، می توانیم خطای عمومی سازی را به طور مؤثر محدود کنیم.ما ضمانت های یادگیری را نشان می دهیم که نشان می دهد ، در شرایط خاص ، مدل های آموزش دیده با DPO می توانند پاسخ های ارجح را به درستی در مورد داده های غیب با احتمال زیاد تشخیص دهند.این بینش ها به صورت تجربی در LLM های معاصر تأیید می شوند و بر اهمیت عملی یافته های نظری ما تأکید می کنند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.