کتاب صوتی درک PettingZoo: جعبه ابزار استاندارد برای یادگیری تقویتی چندعامله

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره درک PettingZoo: جعبه ابزار استاندارد برای یادگیری تقویتی چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: PettingZoo

📋 سرفصل‌های دوره

• 1. معماری PettingZoo و نقش آن در یادگیری تقویتی چندعامله
• 2. نصب و راه‌اندازی PettingZoo و محیط توسعه
• 3. ساختار API در PettingZoo
• 4. مفهوم Agent در محیط‌های چندعامله PettingZoo
• 5. چرخه اجرای محیط و تعامل عامل‌ها
• 6. مدیریت نوبت عامل‌ها با AEC API
• 7. کار با Parallel API در PettingZoo
• 8. تفاوت AEC API و Parallel API
• 9. تعریف فضای مشاهده و عمل برای عامل‌ها
• 10. مدیریت فضای عمل ناهمگون میان عامل‌ها
• 11. مدیریت مشاهده‌های ناهمگون میان عامل‌ها
• 12. مفهوم Termination و Truncation در محیط‌ها
• 13. مدیریت پاداش و پاداش‌های چندعامله
• 14. مدیریت اطلاعات و متادیتای محیط
• 15. راه‌اندازی محیط‌های آماده PettingZoo
• 16. محیط‌های بازی در PettingZoo
• 17. محیط‌های کلاسیک و آزمایشی PettingZoo
• 18. محیط‌های SISL و کاربردهای آن‌ها
• 19. انتخاب محیط مناسب برای آزمایش الگوریتم‌های MARL
• 20. اجرای یک اپیزود کامل در محیط PettingZoo
• 21. کنترل چرخه Step و Reset
• 22. مدیریت عامل‌های فعال و حذف‌شده
• 23. بررسی وضعیت محیط در طول اجرای اپیزود
• 24. ثبت و تحلیل تجربه‌های عامل‌ها
• 25. ساخت محیط چندعامله سفارشی با AEC API
• 26. ساخت محیط چندعامله سفارشی با Parallel API
• 27. تعریف فضای عمل با Gymnasium
• 28. تعریف فضای مشاهده با Gymnasium
• 29. طراحی سیستم پاداش برای محیط سفارشی
• 30. پیاده‌سازی منطق تعامل و وابستگی میان عامل‌ها
• 31. مدیریت عامل‌های دارای طول عمر متفاوت
• 32. اعتبارسنجی محیط‌های سفارشی
• 33. استفاده از Wrapperها در PettingZoo
• 34. ساخت Wrapper سفارشی برای محیط‌ها
• 35. تغییر فضای مشاهده و عمل با Wrapperها
• 36. تغییر و پردازش پاداش با Wrapperها
• 37. نرمال‌سازی و پیش‌پردازش مشاهدات
• 38. مدیریت فضای عمل چندعامله با ابزارهای PettingZoo
• 39. یکپارچه‌سازی PettingZoo با Stable-Baselines3
• 40. استفاده از RLlib در محیط‌های PettingZoo
• 41. اتصال PettingZoo به الگوریتم‌های یادگیری تقویتی سفارشی
• 42. پیاده‌سازی عامل تصادفی به‌عنوان خط مبنا
• 43. اجرای الگوریتم‌های مستقل برای چند عامل
• 44. پیاده‌سازی کنترل متمرکز در محیط PettingZoo
• 45. پیاده‌سازی آموزش غیرمتمرکز عامل‌ها
• 46. مدیریت اشتراک پارامترها میان عامل‌ها
• 47. مدیریت مشاهده جزئی در محیط‌های چندعامله
• 48. پیاده‌سازی Self-Play با PettingZoo
• 49. آموزش عامل‌ها در محیط‌های رقابتی
• 50. آموزش عامل‌ها در محیط‌های همکاری‌محور
• 51. مدیریت محیط‌های ترکیبی رقابتی و همکاری‌محور
• 52. ارزیابی عملکرد عامل‌های چندگانه
• 53. طراحی معیارهای ارزیابی مخصوص MARL
• 54. مقایسه عملکرد عامل‌ها در اپیزودهای مختلف
• 55. ثبت نتایج و لاگ‌گیری از آزمایش‌ها
• 56. تست واحد برای محیط‌های چندعامله
• 57. تست سازگاری AEC و Parallel API
• 58. رفع خطاهای رایج در پیاده‌سازی محیط‌ها
• 59. تشخیص مشکلات فضای مشاهده و عمل
• 60. تشخیص خطاهای چرخه Step و Reset
• 61. بهینه‌سازی اجرای محیط‌های PettingZoo
• 62. اجرای موازی اپیزودها برای افزایش سرعت آزمایش
• 63. مدیریت Random Seed و بازتولیدپذیری
• 64. طراحی سناریوهای آزمایشی قابل تکرار
• 65. ساخت محیط چندعامله کامل از صفر تا اجرا
• 66. اتصال داده‌های محیط به خط لوله آموزش MARL
• 67. طراحی Benchmark برای الگوریتم‌های چندعامله
• 68. مقایسه الگوریتم‌های MARL با PettingZoo
• 69. تحلیل مقیاس‌پذیری محیط با افزایش تعداد عامل‌ها
• 70. طراحی محیط‌های پیچیده برای آزمایش الگوریتم‌های پیشرفته
• 71. بهینه‌سازی معماری محیط برای آموزش در مقیاس بالا
• 72. استفاده از PettingZoo در پروژه‌های تحقیقاتی MARL
• 73. طراحی پروژه عملی نهایی با PettingZoo