کتاب صوتی طراحی مدل‌های یادگیری تقویتی پیشرفته در سیستم‌های چندعامله

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره طراحی مدل‌های یادگیری تقویتی پیشرفته در سیستم‌های چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: مدل‌های یادگیری تقویتی

📋 سرفصل‌های دوره

• 1. تعریف مسئله و اهداف طراحی در MARL
• 2. مدل‌سازی MDP و POMDP برای سیستم‌های چندعامله
• 3. فرمول‌بندی Dec-POMDP
• 4. طبقه‌بندی همکاری، رقابت و تعاملات مختلط
• 5. مفاهیم نظریه بازی در طراحی MARL
• 6. مدل‌سازی توپولوژی تعامل و وابستگی میان عوامل
• 7. مشاهده‌پذیری جزئی و اطلاعات ناکامل
• 8. غیرایستایی ناشی از هم‌آموزی عوامل
• 9. طراحی تابع پاداش در سیستم‌های چندعامله
• 10. تفکیک اعتبار و credit assignment
• 11. تجزیه پاداش و بازی‌های پتانسیل
• 12. مدل‌سازی فضاهای اقدام گسسته، پیوسته و هیبرید
• 13. قیدها و محدودیت‌های کنشی
• 14. انتزاع زمانی با options و سیاست‌های سطح بالا
• 15. تقارن و ناوردایی نسبت به جابه‌جایی عوامل
• 16. مدل‌سازی ارتباط و جریان اطلاعات
• 17. محدودیت‌ها و هزینه‌های ارتباطی
• 18. نمایش گرافی محیط و عوامل
• 19. شبکه‌های عصبی گرافی برای سیاست‌های چندعامله
• 20. آموزش مرکزی و اجرای غیرمتمرکز (CTDE)
• 21. منتقد مرکزی برای آموزش سیاست‌های غیرمتمرکز
• 22. منتقد غیرمتمرکز و تصمیم‌گیری محلی
• 23. تجزیه مقدار و روش‌های factorized Q-learning
• 24. VDN و QMIX به‌عنوان الگوهای طراحی
• 25. چندعامله Actor-Critic
• 26. گرادیان سیاست غیرمتمرکز
• 27. یادگیری تقویتی Q چندعامله
• 28. MARL مبتنی بر مدل
• 29. مدل‌سازی حریف و یادگیری پاسخگو
• 30. یادگیری تعادل در بازی‌های چندعامله
• 31. تعادل نش و تعادل همبسته
• 32. self-play
• 33. آموزش جمعیت‌محور
• 34. یادگیری از راه‌نما و یادگیری تقویتی معکوس
• 35. اکتشاف در محیط‌های غیرایستا
• 36. curriculum learning
• 37. انتقال و یادگیری تقویتی فرا-یادگیری
• 38. یادگیری ارتباط ضمنی
• 39. پروتکل‌های ارتباطی قابل یادگیری
• 40. سیاست‌های گرافی و مقیاس‌پذیری
• 41. MARL ماژولار
• 42. MARL سلسله‌مراتبی
• 43. uncertainty-aware MARL
• 44. robust MARL
• 45. آموزش تهاجمی و مقاوم‌سازی مدل
• 46. MARL محدود و ایمن
• 47. جلوگیری از سوءاستفاده و reward hacking
• 48. افزایش بازده نمونه
• 49. مقیاس‌پذیری محاسباتی و ارتباطی
• 50. آموزش موازی و ترایال‌های هم‌زمان
• 51. انتخاب benchmark مناسب
• 52. متریک‌های عملکرد، همکاری، کارایی و امنیت
• 53. مقایسه با baselineها و تحلیل ablation
• 54. حساسیت به ابرپارامترها
• 55. قابلیت تکرارپذیری و کنترل نسخه
• 56. وفاداری شبیه‌سازی
• 57. domain randomization
• 58. استقرار و سازگاری آنلاین
• 59. عیب‌یابی غیرایستایی
• 60. تفسیرپذیری سیاست‌ها
• 61. تحلیل علّی تعاملات
• 62. مکانیسم‌سازی و سازگاری با انگیزه
• 63. تشکیل ائتلاف
• 64. بهینه‌سازی رفاه اجتماعی و برابری
• 65. MARL حساس به خطر
• 66. MARL چندهدفه
• 67. مطالعه موردی طراحی کامل مدل
• 68. ارزیابی مهندسی و آماده‌سازی استقرار