فلش‌کارت‌های آموزشی استفاده از شبکه‌های عصبی بازگشتی در یادگیری تقویتی چندعامله

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره استفاده از شبکه‌های عصبی بازگشتی در یادگیری تقویتی چندعامله

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: شبکه‌های عصبی (Neural Networks)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری تقویتی چندعامله (MARL) و ضرورت استفاده از حافظه
• 2. مروری بر ساختار شبکه‌های عصبی بازگشتی (RNN) و مدل‌های LSTM و GRU
• 3. چالش‌های مشاهده‌پذیری جزئی (POMDP) در محیط‌های چندعامله
• 4. مدل‌سازی حافظه تاریخچه تعاملات عامل‌ها با استفاده از RNN
• 5. معماری‌های یادگیری مرکزی با اجرای غیرمرکزی (CTDE) مجهز به شبکه‌های بازگشتی
• 6. پیاده‌سازی شبکه ارزش و سیاست مبتنی بر RNN در عامل‌های چندگانه
• 7. انتشار گرادیان در زمان (BPTT) و چالش‌های آموزش شبکه‌های بازگشتی در MARL
• 8. مدیریت توالی‌های طولانی و مشکل محو شدن گرادیان در یادگیری چندعامله
• 9. استفاده از حافظه بلندمدت کوتاه‌مدت (LSTM) در الگوریتم‌های DRQN و DRQNs
• 10. به کارگیری شبکه‌های بازگشتی در ترکیب‌کننده‌های ارزش (مانند QMIX با لایه‌های RNN)
• 11. مدیریت ارتباطات پنهان بین عامل‌ها با پیام‌رسانی مبتنی بر حافظه بازگشتی
• 12. بررسی تاثیر طول تاریخچه بر عملکرد و همگرایی سیاست عامل‌ها
• 13. طراحی توابع پاداش و بهینه‌سازی credit assignment با استفاده از حافظه زمانی
• 14. پایداری و ناپایداری در آموزش همزمان چندین شبکه بازگشتی در محیط‌های پویا
• 15. مقایسه عملکرد عامل‌های دارای حافظه (RNN-based) با عامل‌های بدون حافظه (Feedforward)
• 16. مدیریت عدم‌قطعیت و نویز محیطی با استفاده از فیلترینگ زمانی در شبکه عصبی
• 17. پیاده‌سازی عملیاتی الگوریتم‌های MARL مبتنی بر RNN در پایتون و PyTorch
• 18. تنظیم هایپرپارامترهای کلیدی شبکه‌های بازگشتی در محیط‌های شبیه‌سازی چندعامله
• 19. مدیریت ابعاد و انباشتگی حالت‌ها در حافظه پنهان عامل‌ها هنگام مقیاس‌پذیری
• 20. استفاده از مکانیسم‌های توجه (Attention Mechanisms) در کنار RNN برای بهبود یادگیری
• 21. تست و ارزیابی مدل‌های بازگشتی در سناریوهای همکاری و رقابت چندعامله
• 22. پروژه عملی اول: پیاده‌سازی یک عامل یادگیری تقویتی مجهز به LSTM برای محیط‌های با مشاهده‌پذیری جزئی
• 23. پروژه عملی دوم: توسعه الگوریتم چندعامله مشارکتی با استفاده از معماری بازگشتی پیشرفته