فلش‌کارت‌های آموزشی رمزگشایی پیشرفته در مدل‌های زبانی؛ از Beam Search و Sampling تا تولید متن متنوع و باکیفیت

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره رمزگشایی پیشرفته در مدل‌های زبانی؛ از Beam Search و Sampling تا تولید متن متنوع و باکیفیت

موضوع کلی: پردازش زبان طبیعی و ترجمه ماشینی

موضوع میانی: روش‌های پیشرفته رمزگشایی در تولید متن و ترجمه ماشینی

📋 سرفصل‌های دوره

• 1. مبانی رمزگشایی در مدل‌های زبانی و ترجمه ماشینی
• 2. مفهوم Decoding در تولید توالی و متن
• 3. تفاوت آموزش مدل و فرآیند رمزگشایی
• 4. مدل‌سازی تولید توکن به‌صورت یک مسئله جست‌وجو
• 5. توزیع احتمال توکن بعدی در مدل‌های زبانی
• 6. Logits و تبدیل آن‌ها به احتمال با Softmax
• 7. تابع امتیازدهی در تولید توالی
• 8. Greedy Decoding و انتخاب محتمل‌ترین توکن
• 9. محدودیت‌های Greedy Decoding در تولید متن
• 10. رابطه Greedy Search و Beam Search
• 11. Beam Search و ایده اصلی جست‌وجوی پرتو
• 12. ساختار درخت جست‌وجو در Beam Search
• 13. پیاده‌سازی گام‌به‌گام Beam Search
• 14. پارامتر Beam Width و تأثیر آن بر خروجی
• 15. Beam Width برابر یک و ارتباط آن با Greedy Search
• 16. Beam Width بزرگ و نزدیک شدن به جست‌وجوی کامل
• 17. Pruning و حذف فرضیه‌های کم‌امتیاز
• 18. مدیریت Hypothesis در Beam Search
• 19. Scoring و رتبه‌بندی مسیرهای تولید
• 20. شرایط توقف در Beam Search
• 21. مدیریت End-of-Sequence در رمزگشایی
• 22. مشکل Length Bias در Beam Search
• 23. Length Normalization در جست‌وجوی پرتو
• 24. Length Penalty و تنظیم ترجیح طول خروجی
• 25. Coverage و Coverage Penalty در ترجمه ماشینی
• 26. بهبود Beam Search با معیارهای امتیازدهی ترکیبی
• 27. محدودیت‌های Beam Search در تولید متن
• 28. افت کیفیت با افزایش بیش از حد Beam Width
• 29. تکراری شدن خروجی در Beam Search
• 30. کاهش تنوع در فهرست خروجی‌های Beam Search
• 31. Diverse Beam Search و ایده اصلی آن
• 32. گروه‌بندی پرتوها برای افزایش تنوع
• 33. Sibling Penalty در Diverse Beam Search
• 34. تولید N-Best با Beam Search
• 35. مقایسه N-Best و بهترین خروجی نهایی
• 36. Reranking خروجی‌های Beam Search
• 37. استفاده از معیارهای خارجی برای Reranking
• 38. رمزگشایی با محدودیت‌های زبانی و ساختاری
• 39. Constrained Beam Search برای تولید کنترل‌شده
• 40. Lexically Constrained Decoding در ترجمه ماشینی
• 41. رمزگشایی با واژگان یا عبارات اجباری
• 42. مبانی Sampling در تولید متن
• 43. تفاوت Search و Sampling در فرآیند Decoding
• 44. مزایا و معایب Sampling نسبت به Beam Search
• 45. Temperature Sampling و کنترل تصادفی‌بودن
• 46. تأثیر Temperature بر توزیع احتمال
• 47. انتخاب Temperature مناسب برای کاربردهای مختلف
• 48. Sampling از توزیع کامل واژگان
• 49. مشکل انتخاب توکن‌های کم‌احتمال در Sampling
• 50. Top-K Sampling و محدودسازی فضای انتخاب
• 51. پیاده‌سازی Top-K Sampling
• 52. تأثیر مقدار K بر کیفیت و تنوع متن
• 53. محدودیت‌های Top-K در توزیع‌های مختلف
• 54. Nucleus Sampling یا Top-P
• 55. مبانی و منطق Top-P Sampling
• 56. پیاده‌سازی Nucleus Sampling
• 57. تأثیر مقدار P بر اندازه مجموعه کاندیداها
• 58. مقایسه Top-K و Top-P Sampling
• 59. ترکیب Temperature با Top-K و Top-P
• 60. Min-P Sampling و کنترل کاندیداهای کم‌احتمال
• 61. مقایسه Min-P با Top-K و Top-P
• 62. Typical Sampling و انتخاب توکن‌های محتمل از دیدگاه اطلاعاتی
• 63. Entropy و نقش آن در Sampling
• 64. تأثیر شکل توزیع احتمال بر روش‌های Sampling
• 65. Sampling تطبیقی بر اساس عدم‌قطعیت مدل
• 66. کنترل Repetition در فرآیند Decoding
• 67. Repetition Penalty و جلوگیری از تکرار متن
• 68. Frequency Penalty و Presence Penalty در تولید
• 69. No-Repeat N-Gram و جلوگیری از تکرار عبارات
• 70. مقایسه روش‌های کنترل تکرار در Decoding
• 71. Stochastic Beam Search و ترکیب Beam Search با Sampling
• 72. Delayed Beam Search و ترکیب Sampling و Beam Search
• 73. Sampling-based Beam Search و تولید چند فرضیه
• 74. مقایسه Stochastic Beam Search و Beam Search استاندارد
• 75. مقایسه Beam Search، Greedy و Sampling
• 76. مقایسه کیفیت، تنوع و تصادفی‌بودن روش‌های Decoding
• 77. انتخاب روش Decoding برای ترجمه ماشینی
• 78. انتخاب روش Decoding برای چت‌بات‌ها و گفت‌وگوی آزاد
• 79. انتخاب روش Decoding برای خلاصه‌سازی متن
• 80. انتخاب روش Decoding برای تولید داستان و محتوای خلاقانه
• 81. انتخاب روش Decoding برای تولید کد
• 82. تنظیم هم‌زمان Beam Width و Sampling Parameters
• 83. تحلیل Trade-off میان کیفیت و تنوع خروجی
• 84. ارزیابی کیفیت خروجی‌های تولیدشده با روش‌های مختلف
• 85. تحلیل Diversity در خروجی مدل‌های زبانی
• 86. تحلیل Repetition و Degeneration در تولید متن
• 87. تحلیل طول خروجی و اثر آن بر ارزیابی
• 88. مقایسه خروجی‌های Deterministic و Stochastic
• 89. طراحی آزمایش برای مقایسه روش‌های Decoding
• 90. تنظیم Hyperparameterهای روش‌های رمزگشایی
• 91. پیاده‌سازی Beam Search از صفر با Python
• 92. پیاده‌سازی Greedy و Beam Search برای یک مدل زبانی
• 93. پیاده‌سازی Temperature و Top-K Sampling با Python
• 94. پیاده‌سازی Top-P Sampling با Python
• 95. ساخت یک Decoder قابل تنظیم برای مدل‌های زبانی
• 96. مقایسه تجربی Decoding Strategies روی یک مجموعه‌داده
• 97. بهینه‌سازی سرعت و حافظه در Beam Search
• 98. Batch Decoding و اجرای کارآمد روش‌های Sampling
• 99. مدیریت Cache در رمزگشایی خودبازگشتی
• 100. KV Cache و تأثیر آن بر سرعت Decoding