فلش‌کارت‌های آموزشی RLlib: ابزاری ضروری برای پژوهشگران و مهندسان MARL

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره RLlib: ابزاری ضروری برای پژوهشگران و مهندسان MARL

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: RLlib

📋 سرفصل‌های دوره

• 1. مفاهیم پایه یادگیری تقویتی
• 2. چارچوب یادگیری تقویتی چندعامله (MARL)
• 3. معرفی RLlib و جایگاه آن در اکوسیستم Ray
• 4. نصب و راه‌اندازی محیط کاری RLlib
• 5. مبانی Ray برای محاسبات توزیع‌شده
• 6. طراحی محیط با OpenAI Gym برای RLlib
• 7. طراحی محیط‌های چندعامله با PettingZoo
• 8. فضاهای مشاهده و فعل در RLlib
• 9. شکل‌دهی پاداش و اصول طراحی آن در MARL
• 10. آشنایی با API اصلی RLlib (Trainer، Policy، Environment)
• 11. الگوریتم DQN و پیاده‌سازی در RLlib
• 12. الگوریتم‌های پیشرفته DQN (Double DQN، Dueling DQN، Prioritized ER)
• 13. روش‌های گرادیان سیاست (Policy Gradient)
• 14. الگوریتم REINFORCE و پیاده‌سازی در RLlib
• 15. الگوریتم PPO: تئوری و پیاده‌سازی در RLlib
• 16. تنظیم پارامترهای کلیدی PPO در RLlib
• 17. الگوریتم A2C/A3C و کاربرد در RLlib
• 18. الگوریتم SAC برای فضاهای پیوسته
• 19. الگوریتم TD3 و پیاده‌سازی در RLlib
• 20. الگوریتم Rainbow DQN و اجزای تشکیل‌دهنده
• 21. معماری شبکه‌های عصبی در RLlib (Actor، Critic، Distribution)
• 22. تعریف سیاست‌های سفارشی (Custom Policy) در RLlib
• 23. تعریف الگوریتم‌های سفارشی در RLlib
• 24. آشنایی با حالت‌های تک‌عامله در RLlib
• 25. سناریوهای چندعامله همکارانه (Cooperative MARL)
• 26. سناریوهای چندعامله رقابتی (Competitive MARL)
• 27. رویکردهای CTDE (آموزش متمرکز، اجرای توزیع‌شده)
• 28. الگوریتم MADDPG و پیاده‌سازی در RLlib
• 29. الگوریتم QMIX و آموزش متمرکز مقداری
• 30. الگوریتم MAPPO برای چندعامله‌های همکارانه
• 31. استراتژی‌های آموزش مستقل در چندعامله (Independent Learners)
• 32. طراحی فضاهای مشاهده مشترک و توزیع‌شده در MARL
• 33. طراحی پاداش‌های چندعامله (مشترک، فردی، ترکیبی)
• 34. ارتباطات بین عوامل در محیط‌های MARL
• 35. مدل‌سازی حریفان و رفتار تطبیقی در MARL
• 36. یادگیری چندعامله با مشاهده ناقص (Partial Observability)
• 37. استفاده از حافظه بلادرنگ مشترک بین عوامل
• 38. اجرای موازی آموزش چندعامله با Ray
• 39. مقیاس‌پذیری آموزش RLlib روی کلاستر توزیع‌شده
• 40. آموزش ناهمگن و ناهمسان‌سازی در محیط‌های چندعامله
• 41. تنظیم خودکار هایپرپارامتر با Ray Tune و RLlib
• 42. بازتولید نتایج مقالات پژوهشی با RLlib
• 43. یادگیری تقویتی آفلاین (Offline RL) در RLlib
• 44. یادگیری مبتنی بر مدل (Model-Based RL) در RLlib
• 45. یادگیری پیوندی (Curriculum Learning) در RLlib
• 46. استفاده از محیط‌های شبیه‌سازی شده برای MARL
• 47. پیچ‌وخم‌های رایج در آموزش MARL و راه‌حل‌های عملی
• 48. ابزارهای دیباگ و نظارت بر آموزش در RLlib
• 49. بهینه‌سازی عملکرد و سرعت آموزش در RLlib
• 50. مدیریت checkpoint و نسخه‌بندی مدل‌ها در RLlib
• 51. یکپارچه‌سازی RLlib با ابزارهای Ray (Tune، Train)
• 52. استفاده از Wrapper‌های محیط و Preprocessor در RLlib
• 53. مدیریت بافر تجربه و نمونه‌برداری در مقیاس بزرگ
• 54. تحلیل همگرایی و پایداری آموزش MARL
• 55. مطالعه موردی: آموزش چندعامله در بازی‌های تعاملی
• 56. مطالعه موردی: کنترل رباتیک چندعامله با RLlib
• 57. مطالعه موردی: بهینه‌سازی ترافیک و شبکه با MARL