🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: یادگیری Q همگرا برای بازی‌های مارکوف نامحدود-افق با رویکرد رفتارشناسی

موضوع کلی: یادگیری تقویتی چند عاملی

موضوع میانی: بازی‌های مارکوف و رفتار اقتصادی

📋 سرفصل‌های دوره (100 موضوع)

• 1. مقدمه‌ای بر یادگیری تقویتی
• 2. عناصر اصلی یادگیری تقویتی: عامل، محیط، حالت، عمل، پاداش
• 3. مسئله کنترل و پیش‌بینی در یادگیری تقویتی
• 4. فرآیندهای تصمیم‌گیری مارکوف (MDPs): تعریف و ویژگی‌ها
• 5. تابع ارزش حالت و تابع ارزش عمل (Q-value)
• 6. معادلات بلمن برای MDPs
• 7. برنامه‌ریزی پویا: تکرار ارزش (Value Iteration)
• 8. برنامه‌ریزی پویا: تکرار سیاست (Policy Iteration)
• 9. یادگیری تقویتی بدون مدل (Model-Free RL)
• 10. یادگیری مونت کارلو (Monte Carlo Learning)
• 11. یادگیری تفاوت زمانی (TD Learning): TD(0)
• 12. یادگیری سارسا (SARSA): کنترل روی-سیاست
• 13. یادگیری Q: کنترل خارج-از-سیاست
• 14. همگرایی در یادگیری Q برای MDPs
• 15. چالش‌های یادگیری Q: انتخاب پارامترها و اکتشاف
• 16. مقدمه‌ای بر نظریه بازی‌ها
• 17. عناصر بازی: بازیکنان، استراتژی‌ها، سودمندی‌ها (Payoffs)
• 18. نمایش بازی‌ها: فرم نرمال (Normal Form) و فرم گسترده (Extensive Form)
• 19. تعادل نش (Nash Equilibrium): مفهوم و اهمیت
• 20. استراتژی‌های خالص و استراتژی‌های مخلوط
• 21. بازی‌های با مجموع صفر و بازی‌های با مجموع غیر-صفر
• 22. بازی‌های هماهنگی و بازی‌های رقابتی
• 23. دوراهی زندانی (Prisoner's Dilemma) و کاربردها
• 24. بازی‌های تکراری و استراتژی‌های متوالی
• 25. مفهوم سودمندی انتظاری و تصمیم‌گیری عقلانی
• 26. معرفی بازی‌های مارکوف (بازی‌های تصادفی)
• 27. تعاریف و اجزای بازی مارکوف: حالت‌ها، اعمال مشترک، توزیع انتقال مشترک
• 28. تابع پاداش مشترک در بازی‌های مارکوف
• 29. تفاوت بازی‌های مارکوف با MDPs و بازی‌های ماتریسی
• 30. سیاست‌ها در بازی‌های مارکوف: ثابت و وابسته به تاریخچه
• 31. مفهوم تابع ارزش در بازی‌های مارکوف چند عاملی
• 32. معادلات بلمن برای بازی‌های مارکوف
• 33. تعادل نش در بازی‌های مارکوف: وجود و یافتن آن
• 34. چالش‌های یافتن تعادل در بازی‌های مارکوف
• 35. بازی‌های مارکوف با افق بی‌نهایت
• 36. مفهوم عامل تخفیف (Discount Factor) در بازی‌های مارکوف
• 37. تکرار ارزش در بازی‌های مارکوف چند عاملی
• 38. تکرار سیاست در بازی‌های مارکوف چند عاملی
• 39. یادگیری Q چند عاملی (Multi-Agent Q-Learning): رویکردهای اولیه
• 40. مشکل عدم ایستایی (Non-Stationarity) در یادگیری Q چند عاملی
• 41. عدم ایستایی محیط از دیدگاه یک عامل در MARL
• 42. مسئله تخصیص اعتبار (Credit Assignment Problem) در MARL
• 43. مقیاس‌پذیری در MARL: فضاهای حالت و عمل بزرگ
• 44. اکتشاف و بهره‌برداری در محیط‌های چند عاملی و هماهنگی آنها
• 45. رقابت، همکاری، و ترکیب آنها در MARL
• 46. اهمیت ارتباط و هماهنگی بین عامل‌ها در MARL
• 47. یادگیری در حضور عامل‌های مستقل (Independent Learners)
• 48. رویکردهای همکارانه محض در MARL
• 49. رویکردهای رقابتی محض در MARL
• 50. بازی‌های مارکوف با مجموع عمومی (General-Sum Markov Games): ترکیب رقابت و همکاری
• 51. مقدمه‌ای بر اقتصاد رفتاری و محدودیت‌های عقلانیت
• 52. مدل‌های انتخاب عقلانی در برابر واقعیت‌های رفتاری
• 53. مفهوم عقلانیت محدود (Bounded Rationality)
• 54. تئوری چشم‌انداز (Prospect Theory) در مقابل تئوری مطلوبیت انتظاری
• 55. تابع ارزش در تئوری چشم‌انداز: شکل S و خمیدگی آن
• 56. مفهوم بیزاری از زیان (Loss Aversion)
• 57. وابستگی به نقطه مرجع (Reference Dependence) در تصمیم‌گیری
• 58. سوگیری‌های شناختی و اکتشافی (Cognitive Biases & Heuristics)
• 59. اثر چارچوب‌بندی (Framing Effect) بر انتخاب‌ها
• 60. ترجیحات اجتماعی: انصاف (Fairness) و نوع‌دوستی (Altruism)
• 61. ترجیحات زمانی: تخفیف‌دهی هیپربولیک و سوگیری حال (Present Bias)
• 62. تصمیم‌گیری تحت عدم قطعیت از دیدگاه رفتاری
• 63. نقش احساسات و شهود در فرآیندهای تصمیم‌گیری
• 64. اقتصاد رفتاری در نظریه بازی‌ها: کاربردها و اصلاحات
• 65. مدل‌سازی عامل‌های رفتاری در سیستم‌های هوشمند
• 66. چرا اقتصاد رفتاری در یادگیری تقویتی چند عاملی مهم است؟
• 67. مدل‌سازی پاداش‌های رفتاری در بازی‌های مارکوف چند عاملی
• 68. تعریف تابع مطلوبیت رفتاری برای عامل‌های یادگیرنده
• 69. اهمیت نقطه مرجع در محیط‌های چند عاملی و پاداش‌ها
• 70. اعمال بیزاری از زیان در تابع پاداش عامل در MARL
• 71. ادغام ترجیحات اجتماعی (انصاف، نوع‌دوستی، تلافی) در مدل‌های MARL
• 72. تخفیف‌دهی رفتاری و سوگیری حال در فرآیند یادگیری عامل
• 73. طراحی عامل‌های یادگیرنده با ویژگی‌های رفتاری انسانی
• 74. تأثیر عامل‌های رفتاری بر پویایی و خروجی‌های یادگیری
• 75. چالش‌های مدل‌سازی دقیق رفتار انسانی در MARL
• 76. مروری بر چالش‌های همگرایی یادگیری Q در بازی‌های مجموع-غیرصفر
• 77. دلایل عدم همگرایی استاندارد Q-Learning در بازی‌های مارکوف مجموع-غیرصفر
• 78. معرفی ایده "یادگیری Q همگرا" برای بازی‌های مجموع-غیرصفر
• 79. نقش ترجیحات رفتاری در دستیابی به پایداری و همگرایی
• 80. مدل‌سازی تابع ارزش Q با در نظر گرفتن ابزارهای اقتصاد رفتاری
• 81. به‌روزرسانی Q-Value با استفاده از توابع ارزش رفتاری (مثل Prospect Theory-based Q-learning)
• 82. طراحی مکانیزم‌های به‌روزرسانی Q که همگرایی را در حضور عامل‌های رفتاری تضمین می‌کنند
• 83. مفهوم نقطه مرجع متغیر و ثابت در الگوریتم‌های Q-Learning همگرا
• 84. اعمال بیزاری از زیان در گام‌های به‌روزرسانی یادگیری Q
• 85. تضمین همگرایی: شرایط لازم و کافی برای الگوریتم‌های رفتاری Q-Learning
• 86. تحلیل همگرایی برای بازی‌های مارکوف با افق بی‌نهایت
• 87. بررسی پایداری تعادل‌های رفتاری و نش در بازی‌های مارکوف
• 88. مقایسه با روش‌های Q-Learning مبتنی بر تعادل نش یا تعادل همبسته
• 89. تأثیر انتخاب پارامترهای رفتاری (مانند ضریب بیزاری از زیان) بر همگرایی و عملکرد
• 90. کاربرد مدل‌سازی رقابت و همکاری با ابزارهای اقتصاد رفتاری
• 91. مقاومت و پایداری الگوریتم‌های Q-Learning رفتاری در برابر اختلالات
• 92. پیچیدگی محاسباتی و مقیاس‌پذیری رویکرد یادگیری Q همگرا رفتاری
• 93. توسعه الگوریتم به سمت یادگیری عمیق تقویتی چند عاملی (MA-DRL)
• 94. کاربرد در سیستم‌های اقتصادی و بازارهای مالی با عامل‌های رفتاری
• 95. کاربرد در بهینه‌سازی شبکه‌های هوشمند و مدیریت منابع با مصرف‌کننده‌های رفتاری
• 96. کاربرد در سیستم‌های ترافیکی و حمل‌ونقل هوشمند
• 97. محدودیت‌ها و نقاط ضعف رویکردهای رفتاری در MARL
• 98. مقایسه با سایر رویکردهای پیشرفته MARL (مانند MADDPG, QMIX, LIIR)
• 99. مسائل باز و جهت‌گیری‌های تحقیقاتی آینده در یادگیری Q همگرا رفتاری
• 100. ملاحظات اخلاقی و اجتماعی در طراحی عامل‌های هوشمند رفتاری