کتاب صوتی راهنمای جامع PyMARL برای توسعه‌دهندگان و پژوهشگران MARL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای جامع PyMARL برای توسعه‌دهندگان و پژوهشگران MARL

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: PyMARL

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چندعامله و جایگاه PyMARL
• 2. نصب و پیکربندی محیط توسعه PyMARL
• 3. آشنایی با معماری کد PyMARL: ماژول‌ها، کلاس‌ها و فایل‌های اصلی
• 4. کار با محیط‌های چندعامله استاندارد (SMAC، MAgent، PettingZoo) در PyMARL
• 5. تعریف و سفارشی‌سازی محیط‌های چندعامله جدید
• 6. مبانی شبکه‌های عصبی در PyMARL: ماژول‌های مشترک و عامله‌محور
• 7. پیاده‌سازی الگوریتم Value Decomposition Networks (VDN)
• 8. پیاده‌سازی الگوریتم QMIX: معماری میکسینگ و آموزش
• 9. پیاده‌سازی الگوریتم COMA: نقد مرکزی و بازیگرهای غیرمتمرکز
• 10. پیاده‌سازی الگوریتم MAPPO و IPPO در PyMARL
• 11. مقایسه عملکردی الگوریتم‌های MARL کلاسیک در معیارهای SMAC
• 12. استفاده از Replay Buffer چندعامله و نمونه‌برداری اولویت‌دار
• 13. مدیریت پارامترهای اشتراکی و غیراشتراکی بین عاملان
• 14. تنظیم‌های پیشرفته Hyperparameter برای الگوریتم‌های MARL
• 15. استفاده از TensorBoard و WandB برای لاگ‌گیری و دیدارسازی
• 16. استراتژی‌های ارزیابی: エピソード، متریک‌های همکاری، و تحلیل رفتار
• 17. دیباگ و تست واحد کدهای PyMARL
• 18. بهینه‌سازی سرعت آموزش: Mixed Precision، Distributed Data Parallel
• 19. مقیاس‌پذیری آموزش بر روی چند GPU و کلاستر
• 20. ادغام PyMARL با RLlib و Stable-Baselines3
• 21. توسعه الگوریتم‌های MARL جدید: الگوهای extensible در PyMARL
• 22. استفاده از Curriculum Learning و Self-Play در محیط‌های چندعامله
• 23. مدیریت عدم قطعیت و Exploration در تنظیمات چندعامله
• 24. تحلیل حساسیت به топولوژی ارتباطی عاملان
• 25. پیاده‌سازی مکانیزم‌های پیام‌رسانی (Communication) بین عاملان
• 26. استفاده از Graph Neural Networks برای مدل‌سازی تعاملات
• 27. تکنیک‌های Transfer Learning و Meta-Learning در MARL
• 28. امنیت و Robustness در آموزش چندعامله
• 29. تولید داده‌های مصنوعی برای پیش‌آموزش عاملان
• 30. استفاده از Offline MARL و دیتاست‌های ثابت
• 31. استفاده از PyMARL در کاربردهای واقعی: رباتیک، ترافیک، بازی‌ها
• 32. نوشتن مستندات و مثال‌های قابل اجرا برای پروژه‌های تحقیقاتی
• 33. بهترین شیوه‌های انتشار کد و نتایج در Konferanses و ژورنال‌ها
• 34. بررسی مقالات کلاسیک و اخیر مرتبط با PyMARL
• 35. پروژه نهایی: طراحی، آموزش و ارزیابی یک سیستم MARL کامل با PyMARL