کتاب صوتی رویکردهای نوین تجزیه برای یادگیری تقویتی مقیاس‌پذیر چندعامله

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره رویکردهای نوین تجزیه برای یادگیری تقویتی مقیاس‌پذیر چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: روش‌های مبتنی بر تجزیه (Factorization Methods)

📋 سرفصل‌های دوره

• 1. مبانی یادگیری تقویتی چندعامله و مسئله‌های مشارکتی
• 2. مدل‌سازی محیط‌های چندعامله برای یادگیری تقویتی
• 3. تفاوت یادگیری تک‌عامله و چندعامله
• 4. فضای حالت، عمل و پاداش در محیط‌های چندعامله
• 5. یادگیری متمرکز و غیرمتمرکز در MARL
• 6. چالش مقیاس‌پذیری در یادگیری تقویتی چندعامله
• 7. تجزیه مسئله به‌عنوان راهکار مقیاس‌پذیری
• 8. مفهوم Factorization در ارزش‌گذاری اقدامات چندعامله
• 9. تجزیه تابع ارزش در سیستم‌های چندعامله
• 10. فرضیات استقلال و اثر آن بر تجزیه
• 11. تجزیه مبتنی بر ارزش در MARL
• 12. معماری‌های Value Decomposition
• 13. روش Value Decomposition Networks و ساختار آن
• 14. پیاده‌سازی Value Decomposition Networks
• 15. روش VDN برای مسائل همکاری چندعامله
• 16. محدودیت‌های روش VDN
• 17. مبانی QMIX و شبکه اختلاط ارزش‌ها
• 18. پیاده‌سازی QMIX برای محیط‌های چندعامله
• 19. مقایسه VDN و QMIX
• 20. محدودیت یکنواختی در QMIX
• 21. روش QTRAN برای تجزیه توابع ارزش
• 22. مبانی و معماری QTRAN
• 23. پیاده‌سازی QTRAN در مسائل همکاری
• 24. مقایسه QTRAN با VDN و QMIX
• 25. روش QPLEX برای تجزیه دقیق‌تر ارزش‌ها
• 26. معماری dueling در QPLEX
• 27. پیاده‌سازی QPLEX
• 28. روش‌های تجزیه مبتنی بر مزیت
• 29. Factorization در سیاست‌های چندعامله
• 30. تجزیه تابع مزیت و نقش آن در MARL
• 31. روش‌های مبتنی بر Mixing Network
• 32. طراحی شبکه‌های Mixing برای عامل‌های متعدد
• 33. شبکه‌های اختلاط یکنواخت و غیر یکنواخت
• 34. تجزیه سلسله‌مراتبی ارزش‌ها در MARL
• 35. تجزیه ساختاری در محیط‌های بزرگ چندعامله
• 36. تجزیه بر اساس گروه‌بندی عامل‌ها
• 37. یادگیری ساختار همکاری بین عامل‌ها
• 38. تشخیص وابستگی بین عامل‌ها
• 39. مدل‌سازی تعاملات محلی و سراسری
• 40. تجزیه گرافی در یادگیری تقویتی چندعامله
• 41. Graph Neural Networks برای Factorization
• 42. ترکیب GNN و Value Decomposition
• 43. تجزیه مبتنی بر توجه و Attention
• 44. استفاده از Multi-Head Attention در MARL
• 45. یادگیری روابط پویا بین عامل‌ها
• 46. Factorization با ساختارهای گرافی پویا
• 47. تجزیه ارزش در محیط‌های دارای تعداد زیاد عامل
• 48. کاهش پیچیدگی محاسباتی در MARL
• 49. اشتراک‌گذاری پارامترها میان عامل‌ها
• 50. تجزیه فضای عمل در محیط‌های چندعامله
• 51. تجزیه فضای حالت در مسائل چندعامله
• 52. Factorization در محیط‌های جزئی‌مشاهده‌پذیر
• 53. تجزیه ارزش تحت عدم قطعیت
• 54. Factorization در همکاری و هماهنگی چندعامله
• 55. مقابله با Non-Stationarity در روش‌های تجزیه
• 56. تجزیه ارزش در محیط‌های رقابتی و ترکیبی
• 57. Factorization در بازی‌های مشارکتی
• 58. طراحی تابع پاداش سازگار با تجزیه
• 59. Credit Assignment در سیستم‌های چندعامله
• 60. حل مسئله Multi-Agent Credit Assignment
• 61. تجزیه پاداش و تخصیص اعتبار به عامل‌ها
• 62. Reward Decomposition در یادگیری چندعامله
• 63. تجزیه ارزش و پاداش در محیط‌های دارای پاداش مشترک
• 64. ترکیب Centralized Training و Decentralized Execution
• 65. تجزیه در چارچوب CTDE
• 66. پیاده‌سازی روش‌های Factorization با PyTorch
• 67. ساخت محیط آزمایشی MARL برای روش‌های تجزیه
• 68. پیاده‌سازی Agent و Mixer در یک معماری مشترک
• 69. آموزش شبکه‌های تجزیه ارزش
• 70. تنظیم Hyperparameterهای روش‌های Factorization
• 71. طراحی Replay Buffer برای یادگیری چندعامله
• 72. استفاده از Target Network در روش‌های تجزیه
• 73. پایداری آموزش در Value Decomposition
• 74. مدیریت گرادیان و بهینه‌سازی شبکه‌های Mixing
• 75. ارزیابی همگرایی روش‌های تجزیه
• 76. معیارهای سنجش عملکرد الگوریتم‌های Factorization
• 77. مقایسه کارایی VDN، QMIX، QTRAN و QPLEX
• 78. تحلیل Sample Efficiency در روش‌های تجزیه
• 79. مقایسه پیچیدگی زمانی و حافظه‌ای الگوریتم‌ها
• 80. ارزیابی مقیاس‌پذیری با افزایش تعداد عامل‌ها
• 81. آزمایش Ablation برای اجزای معماری تجزیه
• 82. طراحی بنچمارک برای الگوریتم‌های MARL
• 83. تحلیل شکست و ناپایداری در روش‌های Factorization
• 84. انتخاب روش تجزیه بر اساس ساختار مسئله
• 85. طراحی معماری ترکیبی برای Factorization
• 86. ترکیب Value Decomposition با Attention
• 87. ترکیب Factorization با Graph-Based MARL
• 88. روش‌های نوین تجزیه برای یادگیری تقویتی مقیاس‌پذیر
• 89. بهینه‌سازی روش‌های تجزیه برای محیط‌های بسیار بزرگ
• 90. طراحی سیستم MARL مقیاس‌پذیر با روش‌های Factorization
• 91. استقرار الگوریتم‌های تجزیه در کاربردهای واقعی
• 92. مطالعه موردی حل مسئله همکاری چندعامله با QMIX
• 93. مطالعه موردی تخصیص اعتبار با روش‌های تجزیه
• 94. پروژه نهایی طراحی و پیاده‌سازی یک سیستم MARL مبتنی بر Factorization