کتاب صوتی PyMARL: از تئوری تا ساخت کاربردهای واقعی MARL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره PyMARL: از تئوری تا ساخت کاربردهای واقعی MARL

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: PyMARL

📋 سرفصل‌های دوره

• 1. مفاهیم پایه‌ای یادگیری تقویتی چندعامله (MARL)
• 2. چالش‌های سیستم‌های چندعامله: ناپایداری محیط و تخصیص اعتبار
• 3. معماری و ساختار کلی فریم‌ورک PyMARL
• 4. راه‌اندازی و نصب PyMARL و پیش‌نیازهای نرم‌افزاری
• 5. آشنایی با محیط StarCraft Multi-Agent Challenge (SMAC)
• 6. یکپارچه‌سازی محیط SMAC با فریم‌ورک PyMARL
• 7. تحلیل ساختار کدها و ماژول‌های اصلی در کدبیس PyMARL
• 8. مدیریت بافر تکرار (Replay Buffer) برای سیستم‌های چندعامله
• 9. پیاده‌سازی شبکه‌های عصبی و معماری‌های مدل عامل‌ها در PyTorch
• 10. الگوریتم IQL (یادگیری کیو مستقل) در سیستم‌های چندعامله
• 11. الگوریتم VDN (شبکه‌های تجزیه ارزش) و منطق تجمیع پاداش
• 12. تحلیل عمیق الگوریتم QMIX: تئوری و پیاده‌سازی عملی
• 13. ساختار شبکه مخلوط‌کننده (Mixing Network) در QMIX
• 14. الگوریتم COMA (گرادیان سیاست بازیگر-منتقد برای سیستم‌های چندعامله)
• 15. مکانیزم محاسبه Baseline وابسته به وضعیت در الگوریتم COMA
• 16. الگوریتم QTRAN: ساختار، مزایا و چالش‌های پیاده‌سازی
• 17. پیکربندی فایل‌های YAML برای مدیریت پارامترهای آموزش در PyMARL
• 18. مدیریت Runnerها: اجرای موازی و توزیع‌شده اپیزودها
• 19. روند آموزش مدل‌ها و لاگ‌گیری سیستماتیک در PyMARL
• 20. ارزیابی عملکرد مدل (Evaluation) و مدیریت Checkpointها
• 21. بصری‌سازی نتایج یادگیری با TensorBoard و پلتفرم Sacred
• 22. تنظیم ابرپارامترها (Hyperparameter Tuning) برای همگرایی بهتر
• 23. طراحی و توسعه محیط‌های سفارشی (Custom Environments)
• 24. استانداردسازی رابط محیط سفارشی با نیازمندی‌های PyMARL
• 25. طراحی فضای مشاهده (Observation Space) و فضای حالت سراسری (State Space)
• 26. مهندسی توابع پاداش (Reward Design) برای تسک‌های همکارانه و رقابتی
• 27. خطایابی (Debugging) شبکه‌های عصبی چندعامله در فرآیند آموزش
• 28. پروفایلینگ و بهینه‌سازی مصرف حافظه و GPU در حین آموزش
• 29. رفع مشکل ناپایداری آموزش و جلوگیری از فروپاشی سیاست (Policy Collapse)
• 30. روش‌های انتقال یادگیری (Transfer Learning) میان عامل‌های آموزش‌دیده
• 31. توسعه ماژول‌های ارتباطی (Communication) بین عامل‌ها در PyMARL
• 32. مدل‌سازی کاربرد MARL در کنترل ترافیک شهری هوشمند
• 33. طراحی سیستم هماهنگی ربات‌های انباردار (Swarm Robotics) با PyMARL
• 34. کاربرد MARL در تخصیص منابع پویا در شبکه‌های ارتباطی
• 35. آماده‌سازی مدل‌های آموزش‌دیده PyMARL برای استقرار در محیط عملیاتی (Deployment)
• 36. طراحی معماری استنتاج بی‌درنگ (Real-time Inference) در سیستم‌های چندعامله
• 37. چشم‌انداز آینده PyMARL و انتقال به فریم‌ورک‌های مدرن‌