فلش‌کارت‌های آموزشی غلبه بر داده‌های گم‌شده در یادگیری تقویتی: الگوریتم DR-UCB و تحلیل عملکرد

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره غلبه بر داده‌های گم‌شده در یادگیری تقویتی: الگوریتم DR-UCB و تحلیل عملکرد

موضوع کلی: یادگیری تقویتی

موضوع میانی: تصمیم‌گیری متوالی با بازخورد ناقص

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی (Reinforcement Learning)
• 2. عناصر اساسی سیستم‌های یادگیری تقویتی (عامل، محیط، حالت، عمل، پاداش)
• 3. مسئله چند-بازوی قمارباز (Multi-Armed Bandit - MAB) و اهمیت آن
• 4. موازنه اکتشاف (Exploration) و بهره‌برداری (Exploitation)
• 5. تعریف پاداش و معیارهای عملکرد: مفهوم حسرت (Regret)
• 6. انواع مسائل MAB و مثال‌های کاربردی
• 7. الگوریتم‌های پایه MAB: از حریصانه (Greedy) تا Softmax
• 8. محدودیت‌های الگوریتم‌های حریصانه و کاوش ناکافی
• 9. معرفی الگوریتم UCB1 (Upper Confidence Bound)
• 10. مبانی نظری UCB: چرا UCB خوب کار می‌کند؟
• 11. ورود به دنیای بازخورد ناقص در یادگیری تقویتی
• 12. تعریف "بازخورد گم‌شده" در مسائل تصمیم‌گیری متوالی
• 13. سناریوهای رایج بازخورد ناقص در دنیای واقعی
• 14. مکانیسم‌های داده‌های گم‌شده: MCAR, MAR, NMAR
• 15. اهمیت شناسایی مکانیسم گم‌شدگی برای مدل‌سازی صحیح
• 16. چالش‌های ناشی از بازخورد ناقص برای الگوریتم‌های RL سنتی
• 17. چرا الگوریتم‌های استاندارد MAB با بازخورد ناقص دچار مشکل می‌شوند؟
• 18. مدل‌سازی پاداش مشاهده‌شده در حضور داده‌های گم‌شده
• 19. تفاوت بین پاداش واقعی (True Reward) و پاداش مشاهده‌شده (Observed Reward)
• 20. پیامدهای گم‌شدگی داده‌ها بر دقت تخمین میانگین پاداش
• 21. مقدمه‌ای بر روش‌های آماری مدیریت داده‌های گم‌شده
• 22. روش‌های حذف داده (Listwise و Pairwise Deletion) و معایب آن‌ها
• 23. روش‌های ساده جایگزینی (Imputation) داده‌های گم‌شده (میانگین، میانه)
• 24. مفهوم نمره تمایل (Propensity Score) در آمار و علیت
• 25. تخمین نمره تمایل: استفاده از مدل‌های رگرسیون لجستیک
• 26. روش وزن‌دهی معکوس نمره تمایل (Inverse Propensity Weighting - IPW): مفهوم
• 27. کاربرد IPW برای تخمین میانگین پاداش در حضور بازخورد ناقص
• 28. مفروضات کلیدی برای اعتبار روش IPW (به‌ویژه عدم سردرگمی)
• 29. چالش‌های IPW: واریانس بالا و حساسیت به مدل تمایل
• 30. معرفی تخمین‌گرهای دوامند (Doubly Robust - DR)
• 31. شهود پشت رویکرد دوامندی (Doubly Robustness)
• 32. اجزای اصلی تخمین‌گر DR: مدل پاداش (Outcome Model) و مدل تمایل (Propensity Model)
• 33. اشتقاق فرمول تخمین‌گر DR برای پاداش متوسط
• 34. ویژگی‌های تخمین‌گر DR: سازگاری (Consistency)
• 35. ویژگی‌های تخمین‌گر DR: دوامندی نسبت به خطا در یکی از مدل‌ها
• 36. مزایای تخمین‌گرهای DR نسبت به IPW و سایر روش‌ها
• 37. انتخاب و آموزش مدل پاداش در عمل (رگرسیون)
• 38. انتخاب و آموزش مدل تمایل در عمل (طبقه‌بندی)
• 39. برهم‌کنش بین مدل پاداش و مدل تمایل در ساختار DR
• 40. تحلیل واریانس تخمین‌گرهای DR و عوامل موثر بر آن
• 41. بازبینی الگوریتم‌های UCB برای مسائل Contextual Bandits (مانند LinUCB)
• 42. نقش دقت تخمین و عدم قطعیت در الگوریتم‌های UCB
• 43. مرزهای نظری برای مسائل MAB و اهمیت آن‌ها
• 44. نیاز به الگوریتم‌های UCB مقاوم در برابر بازخورد ناقص
• 45. انگیزه توسعه الگوریتم DR-UCB: پلی بین DR و UCB
• 46. چارچوب نظری DR-UCB: ترکیب تخمین‌گر DR با رویکرد UCB
• 47. تعریف پاداش تخمینی دوامند برای هر بازو در DR-UCB
• 48. ساختار مرز اطمینان بالا (Confidence Bound) در DR-UCB
• 49. اشتقاق مولفه‌های اکتشاف (Exploration Bonus) در DR-UCB
• 50. گام‌های الگوریتم DR-UCB (شبه‌کد)
• 51. مفروضات اساسی برای عملکرد صحیح DR-UCB (برگرفته از مقاله)
• 52. تفاوت‌های کلیدی DR-UCB با سایر UCBهای سنتی و IPW-UCB
• 53. پیاده‌سازی گام به گام DR-UCB در یک محیط شبیه‌سازی
• 54. تعریف حسرت برای مسائل تصمیم‌گیری متوالی با بازخورد ناقص
• 55. تحلیل نظری حسرت (Regret Analysis) برای DR-UCB
• 56. لم‌های کلیدی در اثبات مرز حسرت DR-UCB
• 57. اثبات طرح‌واره‌ای: بهره‌برداری از ویژگی دوامندی در مرز حسرت
• 58. قضیه اصلی: مرز حسرت (Regret Bound) برای DR-UCB
• 59. تحلیل اجزای مرز حسرت و وابستگی‌های آن به پارامترها
• 60. تاثیر کیفیت مدل تمایل بر مرز حسرت DR-UCB
• 61. تاثیر کیفیت مدل پاداش بر مرز حسرت DR-UCB
• 62. مقایسه حسرت DR-UCB با حسرت ایده‌آل (Oracle Regret)
• 63. مقایسه DR-UCB با IPW-UCB از منظر حسرت
• 64. تحلیل حساسیت DR-UCB به خطای مدل‌سازی (Misspecification)
• 65. بهینگی و شکاف‌های زیربهینگی (Sub-optimality Gaps) در DR-UCB
• 66. تعمیم DR-UCB به Contextual Bandits با بازخورد ناقص
• 67. DR-UCB برای مسائل تصمیم‌گیری متوالی با بازخورد جزئی (Partial Feedback)
• 68. یادگیری تقویتی دسته‌ای (Batch RL) با داده‌های گم‌شده و نقش DR-UCB
• 69. ارزیابی خارج از سیاست (Off-Policy Evaluation) با بازخورد ناقص
• 70. DR-UCB با استفاده از مدل‌های غیرخطی برای پاداش و تمایل
• 71. مقایسه DR-UCB با الگوریتم‌های جایگزین مدیریت داده گم‌شده (مانند M-UCB)
• 72. راهنمای عملی: چه زمانی DR-UCB را به سایر رویکردها ترجیح دهیم؟
• 73. مقاوم‌سازی DR-UCB در برابر محیط‌های ناایستا (Non-stationary Environments)
• 74. رویکردهای دیگر مبتنی بر DR: DR-Thompson Sampling
• 75. آماده‌سازی و پیش‌پردازش داده‌ها برای استفاده در DR-UCB
• 76. مهندسی ویژگی (Feature Engineering) برای مدل‌های تمایل و پاداش در DR-UCB
• 77. انتخاب الگوریتم‌های یادگیری ماشین مناسب برای مدل‌های DR-UCB
• 78. تنظیم فراپارامترها (Hyperparameter Tuning) برای DR-UCB در عمل
• 79. ملاحظات پیچیدگی محاسباتی و زمان اجرای DR-UCB
• 80. مقیاس‌پذیری DR-UCB برای مجموعه‌داده‌های بزرگ و بلادرنگ
• 81. ابزارهای شبیه‌سازی و پلتفرم‌های آزمایشی برای ارزیابی DR-UCB
• 82. کتابخانه‌های متن‌باز و پیاده‌سازی‌های موجود برای DR-UCB
• 83. روش‌های عیب‌یابی (Debugging) و پایش عملکرد DR-UCB
• 84. ملاحظات اخلاقی و حفظ حریم خصوصی در برخورد با داده‌های گم‌شده
• 85. کاربردهای DR-UCB در سیستم‌های توصیه‌گر هوشمند
• 86. کاربردهای DR-UCB در بهینه‌سازی کمپین‌های تبلیغاتی آنلاین
• 87. کاربردهای DR-UCB در حوزه سلامت و پزشکی (به‌عنوان مثال، انتخاب درمان)
• 88. کاربردهای DR-UCB در آزمایش‌های A/B با نرخ ترک مطالعه (Dropout) بالا
• 89. تعمیم DR-UCB به مسائل یادگیری تقویتی کامل (Full Reinforcement Learning)
• 90. چالش‌های نظری بازخورد ناقص غیرقابل چشم‌پوشی (NMAR) در DR-UCB
• 91. استراتژی‌های یادگیری فعال (Active Learning) برای جمع‌آوری بازخورد در DR-UCB
• 92. رویکردهای بیزی (Bayesian Approaches) به مسائل بازخورد ناقص
• 93. استفاده از یادگیری عمیق در مدل‌های تمایل و پاداش DR-UCB
• 94. DR-UCB در سیستم‌های چند عاملی (Multi-Agent Systems)
• 95. مسائل پژوهشی باز و چالش‌های حل‌نشده در حوزه DR-UCB
• 96. جهت‌گیری‌های آینده و روندهای نوظهور در یادگیری تقویتی با بازخورد ناقص
• 97. مروری بر مقاله اصلی "Sequential Decision Problems with Missing Feedback" و نکات کلیدی آن
• 98. اهمیت ادامه پژوهش در زمینه غلبه بر داده‌های گم‌شده
• 99. جمع‌بندی دوره: جایگاه DR-UCB در ابزارهای یادگیری تقویتی
• 100. منابع تکمیلی و مسیرهای یادگیری برای علاقه‌مندان پیشرفته