کتاب صوتی یادگیری تقویتی چندعامله برای ارتقاء مقیاس‌پذیری و کارایی در سیستم‌های با ازدحام بالا

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری تقویتی چندعامله برای ارتقاء مقیاس‌پذیری و کارایی در سیستم‌های با ازدحام بالا

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: یادگیری تقویتی چندعامله برای کنترل ازدحام

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چندعامله
• 2. مفاهیم اساسی یادگیری تقویتی
• 3. عوامل در سیستم‌های چندعامله
• 4. مدل‌سازی محیط‌های با ازدحام بالا
• 5. تعریف مسئله در سیستم‌های با ازدحام بالا
• 6. اهمیت مقیاس‌پذیری در سیستم‌های با ازدحام بالا
• 7. اهمیت کارایی در سیستم‌های با ازدحام بالا
• 8. روش‌های کلاسیک یادگیری تقویتی
• 9. الگوریتم‌های یادگیری تقویتی مبتنی بر ارزش
• 10. الگوریتم‌های یادگیری تقویتی مبتنی بر سیاست
• 11. مقایسه روش‌های مبتنی بر ارزش و سیاست
• 12. محدودیت‌های یادگیری تقویتی در سیستم‌های بزرگ
• 13. نیاز به رویکردهای مقیاس‌پذیر
• 14. مقدمه‌ای بر یادگیری تقویتی چندعامله (MARL)
• 15. تفاوت‌های MARL با یادگیری تقویتی تک‌عامله
• 16. چالش‌های اصلی در MARL
• 17. عدم ایستایی محیط از دیدگاه عامل
• 18. تعاملات پیچیده بین عوامل
• 19. مشکلات هماهنگی و رقابت
• 20. انواع سناریوهای MARL
• 21. سناریوهای مشارکتی
• 22. سناریوهای رقابتی
• 23. سناریوهای مختلط
• 24. روش‌های پایه‌ای MARL
• 25. یادگیری تقویتی توزیع‌شده
• 26. یادگیری تقویتی متمرکز
• 27. روش‌های مبتنی بر عامل مستقل (Independent Learners)
• 28. مزایا و معایب یادگیری مستقل
• 29. روش‌های مبتنی بر عامل متمرکز (Centralized Learners)
• 30. مزایا و معایب یادگیری متمرکز
• 31. مدل‌های ترکیبی (Centralized Training, Decentralized Execution)
• 32. مقدمه‌ای بر معماری‌های CTDE
• 33. روش‌های یادگیری تقویتی مبتنی بر عامل متمرکز با تابع ارزش مشترک
• 34. VDA2C: Value Decomposition Networks for Actor-Critic
• 35. QMIX: Mixing Network for Multi-Agent Reinforcement Learning
• 36. COMA: Counterfactual Multi-Agent Policy Gradients
• 37. مقایسه QMIX و COMA
• 38. روش‌های یادگیری تقویتی مبتنی بر عامل مستقل با شبکه‌های عصبی عمیق
• 39. DQN برای عامل مستقل
• 40. Actor-Critic برای عامل مستقل
• 41. PPO برای عامل مستقل
• 42. مقایسه روش‌های مستقل با شبکه‌های عمیق
• 43. چالش‌های مقیاس‌پذیری در MARL
• 44. افزایش فضای حالت و عمل با تعداد عوامل
• 45. پیچیدگی تعاملات
• 46. روش‌های افزایش مقیاس‌پذیری
• 47. استفاده از معماری‌های شبکه‌ای مؤثر
• 48. تقسیم وظایف بین عوامل
• 49. یادگیری سلسله‌مراتبی در MARL
• 50. مقدمه‌ای بر یادگیری سلسله‌مراتبی
• 51. کاربرد یادگیری سلسله‌مراتبی در MARL
• 52. روش‌های کاهش فضای عمل
• 53. گروه‌بندی عوامل
• 54. خودسازماندهی عوامل
• 55. چالش‌های کارایی در MARL
• 56. یافتن سیاست‌های بهینه در زمان واقعی
• 57. کاهش تأخیر در تصمیم‌گیری
• 58. بهینه‌سازی منابع محاسباتی
• 59. روش‌های بهبود کارایی
• 60. استفاده از حافظه و تجربه
• 61. یادگیری فشرده (Compressed Learning)
• 62. یادگیری انتقالی (Transfer Learning) در MARL
• 63. کاربرد یادگیری انتقالی در سیستم‌های با ازدحام بالا
• 64. انتقال دانش بین وظایف مشابه
• 65. انتقال دانش بین محیط‌های مشابه
• 66. تکنیک‌های یادگیری انتقالی
• 67. روش‌های یادگیری تقویتی عمیق برای سیستم‌های با ازدحام بالا
• 68. Deep Q-Networks (DQN) در MARL
• 69. Actor-Critic methods in MARL
• 70. Policy Gradient methods in MARL
• 71. Deep Deterministic Policy Gradient (DDPG) in MARL
• 72. يادگيري تقويتي مبتني بر مدل (Model-based MARL)
• 73. مقدمه‌ای بر یادگیری تقویتی مبتنی بر مدل
• 74. کاربرد مدل‌سازی محیط در MARL
• 75. مزایا و معایب روش‌های مبتنی بر مدل
• 76. روش‌های یادگیری تقویتی بدون مدل (Model-free MARL)
• 77. مقایسه روش‌های مبتنی بر مدل و بدون مدل
• 78. ملاحظات پیاده‌سازی در سیستم‌های واقعی
• 79. شبیه‌سازی محیط‌های با ازدحام بالا
• 80. ابزارهای شبیه‌سازی
• 81. اعتبارسنجی مدل‌های شبیه‌سازی
• 82. برنامه‌ریزی منابع در سیستم‌های با ازدحام بالا
• 83. مدیریت ترافیک در شبکه‌های ارتباطی
• 84. کنترل ازدحام در سیستم‌های توزیع‌شده
• 85. کاربرد MARL در رباتیک چندعامله
• 86. هماهنگی ربات‌ها در انبارها
• 87. جستجو و نجات با ربات‌های خودمختار
• 88. کاربرد MARL در سیستم‌های هوشمند شهری
• 89. مدیریت هوشمند ترافیک شهری
• 90. بهینه‌سازی مصرف انرژی در ساختمان‌های هوشمند
• 91. کاربرد MARL در اقتصاد و بازارهای مالی
• 92. معاملات الگوریتمی خودکار
• 93. مدیریت سبد سهام
• 94. کاربرد MARL در سیستم‌های توزیع‌شده محاسباتی
• 95. تخصیص منابع در مراکز داده
• 96. مدیریت بار در شبکه‌های ابری
• 97. روش‌های ارزیابی عملکرد در MARL
• 98. معیارهای اصلی ارزیابی
• 99. مقایسه با روش‌های پایه
• 100. تحلیل حساسیت پارامترها