فلش‌کارت‌های آموزشی PyMARL: چارچوبی جامع برای حل مسائل پیچیده هوش مصنوعی چندعامله

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره PyMARL: چارچوبی جامع برای حل مسائل پیچیده هوش مصنوعی چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: PyMARL

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چندعامله
• 2. تفاوت یادگیری تک‌عامله و چندعامله
• 3. فرآیند تصمیم‌گیری مارکوف و گسترش آن در چندعامله
• 4. فضای عملیات و مشاهده مشترک بین عامل‌ها
• 5. تعاملات بین عامل‌ها: همکاری، رقابت و تعادل
• 6. سیاست محلی در مقابل سیاست جمعی
• 7. یادگیری تقویتی کلاسیک: Q-Learning و محدودیت‌های آن
• 8. شبکه‌های Q عمیق (DQN) و چالش‌های چندعامله
• 9. پلیسی گرادیان و بهینه‌سازی سیاست
• 10. Actor-Critic و آپتیمایزاسیون‌های A2C/A3C
• 11. PPO و اصول کلیدی آپتیمایزاسیون
• 12. تعادل ناش و Nash Equilibrium در سیستم‌های چندعامله
• 13. مشکل تخصیص اعتبار (Credit Assignment)
• 14. ارزیابی عملکرد در محیط‌های چندعامله
• 15. مبانی نظری تعاون غیرمستقیم
• 16. معرفی PyMARL و معماری نرم‌افزاری آن
• 17. نصب و راه‌اندازی PyMARL روی سیستم شخصی
• 18. آشنایی با محیط StarCraft II و دیتاست‌های استاندارد
• 19. ساختار پروژه و فایل‌های کلیدی PyMARL
• 20. تنظیمات پیکربندی (config) در PyMARL
• 21. اجرای اولین آزمایش و تفسیر لاگ‌ها
• 22. مدیریت دیتاست‌ها و بافر تجربه
• 23. استفاده از GPU و موازی‌سازی آموزش
• 24. الگوریتم VDN: جمع ساده Q-values
• 25. آموزش VDN در PyMARL و محدودیت‌های آن
• 26. الگوریتم QMIX: ترکیب مجزا و مخلوط Q-values
• 27. معماری شبکه QMIX و تابع mixing
• 28. آموزش QMIDE در PyMARL — قدم‌به‌قدم
• 29. تحلیل عملکرد QMIX روی سناریوهای StarCraft II
• 30. ویژگی‌های QMIX: تابع فوق‌مختلط و monotonicity
• 31. الگوریتم QTRAN: ترکیب مستقیم Q-values
• 32. تفاوت QTRAN با QMIX و کاربردهای عملی
• 33. آموزش QTRAN در PyMARL
• 34. MADDPG: Actor-Critic مرکزوزا با مشاهده محلی
• 35. معماری MADDPG و آموزش آن در PyMARL
• 36. DMAQ: ترکیب Q-values با توجه به عملکرد عامل‌ها
• 37. خودتنظیمی و مقیاس‌پذیری در الگوریتم‌های ترکیبی
• 38. MAPPO: PPO چندعامله با انتقال گرادیان مشترک
• 39. آموزش MAPPO در PyMARL
• 40. تفکیک بهینه‌سازی محلی و جمعی در MAPPO
• 41. MAVEN: بهره‌گیری از متغیرهای کمکی برای اکتشاف
• 42. بافر راه‌حل‌های MAVEN و نقش آن در تنوع سیاست
• 43. آموزش MAVEN در PyMARL
• 44. QPLEX: ترکیب بدون محدودیت monotonicity
• 45. تحلیل مقایسه‌ای QPLEX و QMIX
• 46. آموزش QPLEX در PyMARL
• 47. روش‌های مبتنی بر توجه (Attention) در MARL
• 48. شبکه‌های گرافی (GNN) برای تعامل عامل‌ها
• 49. استفاده از GNN در PyMARL برای نظارت جمعی
• 50. پروتکل‌های ارتباطی قابل یادگیری: CommNet و TarMAC
• 51. آموزش ارتباط بین عامل‌ها در PyMARL
• 52. اکتشاف در محیط‌های چندعامله و چالش‌های آن
• 53. استراتژی‌های اکتشاف جمعی و متنوع
• 54. یادگیری انتقالی در سیستم‌های چندعامله
• 55. یادگیری چندمهاره‌ای (Multi-Task) در MARL
• 56. مدیریت بلندمدت و برنامه‌ریزی در چندعامله
• 57. مدل‌سازی جهان (World Model) در MARL
• 58. آموزش با بازخورد جزئی و ناقص
• 59. مدیریت پویایی عوامل جدید و خارج شدنی
• 60. بارست‌رایزینگ در آموزش چندعامله
• 61. مقیاس‌پذیری الگوریتم‌ها به تعداد زیاد عامل‌ها
• 62. مقاومت در برابر عامل‌های دست‌کاری‌شده
• 63. نوشتن محیط سفارشی برای PyMARL
• 64. تعریف مشاهدات و عملیات در محیط سفارشی
• 65. پیاده‌سازی الگوریتم سفارشی در PyMARL
• 66. دیباگ کردن آموزش چندعامله
• 67. بهینه‌سازی هایپرپارامترها در الگوریتم‌های MARL
• 68. ذخیره و بازیابی مدل‌ها در PyMARL
• 69. تجسم‌سازی نتایج آموزش و رفتار عامل‌ها
• 70. مقایسه الگوریتم‌ها با استفاده از PyMARL
• 71. بازتولید نتایج مقالات کلیدی MARL
• 72. مدیریت نسخه و کنترل منبع در پروژه‌های PyMARL
• 73. تولید دیتاست‌های سفارشی برای آزمایش‌های MARL
• 74. benchmark های استاندارد در یادگیری تقویتی چندعامله
• 75. کاربرد MARL در رباتیک چندعامله
• 76. کاربرد MARL در ترافیک هوشمند و مدیریت حمل‌ونقل
• 77. MARL در بازی‌سازی و شبیه‌سازی
• 78. MARL در بازارهای هوشمند و حراج‌گاهی
• 79. MARL در شبکه‌های ارتباطی و روترینگ
• 80. MARL در مدیریت انرژی و شبکه‌های هوشمند
• 81. مسائل امنیتی و اخلاقی در یادگیری تقویتی چندعامله
• 82. چالش‌های کنونی و جهت‌های تحقیقاتی آینده MARL
• 83. پروژه نهایی: طراحی و آموزش عامل‌های چندعامله با PyMARL