فلش‌کارت‌های آموزشی یادگیری تقویتی چندعامله: روش‌های توزیع‌شده و متمرکز

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری تقویتی چندعامله: روش‌های توزیع‌شده و متمرکز

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: یادگیری تقویتی چندعامله برای کنترل ربات‌های صنعتی برای انجام وظایف نگهداری و تعمیر

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چندعامله (MARL) و چالش‌های محیط‌های چندعاملی
• 2. فرمول‌بندی بازی‌های مارکوف (Markov Games) و فرایندهای تصمیم‌گیری تصادفی چندعامله
• 3. چالش‌های غیرایستا بودن محیط (Non-stationarity) و همگرایی در MARL
• 4. مبانی یادگیری تقویتی تک‌عامله و تعمیم آن به سیستم‌های چندعامله
• 5. روش‌های متمرکز: آموزش متمرکز و اجرای متمرکز (Centralized Training and Execution)
• 6. محدودیت‌های رویکردهای کاملاً متمرکز در کنترل رباتیک و مقیاس‌پذیری
• 7. روش‌های کاملاً غیرمتمرکز: Independent Q-Learning (IQL) و چالش‌های همگرایی آن
• 8. الگوی آموزش متمرکز با اجرای غیرمتمرکز (CTDE: Centralized Training with Decentralized Execution)
• 9. الگوریتم Multi-Agent Deep Deterministic Policy Gradient (MADDPG)
• 10. توسعه MADDPG برای فضاهای کنش پیوسته در کنترل ربات‌های صنعتی
• 11. الگوریتم‌های برپایه Q-mix و QTRAN برای تجزیه پاداش (Credit Assignment)
• 12. تجزیه ارزش با VDN (Value-Decomposition Networks) در محیط‌های همکاری
• 13. روش‌های چندعامله بر پایه بهینه‌سازی سیاست پروگزیمال (MAPPO)
• 14. ارتباطات بین عاملی (Inter-agent Communication) و پروتکل‌های یادگیری ارتباط
• 15. مکانیزم‌های توجه (Attention Mechanisms) در یادگیری تقویتی چندعامله (MAAC)
• 16. مدل‌سازی گراف در سیستم‌های چندعامله با Graph Neural Networks (GNNs)
• 17. روش‌های توزیع‌شده چندعامله بر پایه اجماع و اشتراک‌گذاری پارامترها
• 18. تخصیص هوشمند وظایف نگهداری و تعمیرات در ربات‌های صنعتی همکار
• 19. مسیریابی تعاملی و اجتناب از برخورد چند ربات در محیط‌های کارخانه‌ای
• 20. مدل‌سازی نادیده‌انگاری جزئی محیط با POSG (Partially Observable Stochastic Games)
• 21. یادگیری تقویتی چندعامله رقابتی، همکارانه و مختلط
• 22. تخصیص پاداش و مسئله سهم‌دهی عادلانه (Credit Assignment Problem) در تیمی از ربات‌ها
• 23. محیط‌های شبیه‌سازی برای رباتیک چندعامله (PettingZoo, Ray Rllib, Isaac Gym)
• 24. پیاده‌سازی الگوریتم‌های CTDE در پایتون با PyTorch
• 25. مقاوم‌سازی الگوریتم‌های MARL در برابر اختلالات ارتباطی و تاخیر در شبکه
• 26. پروژه پایانی: شبیه‌سازی و کنترل تیمی از ربات‌های صنعتی برای تعمیرات خودکار