فلش‌کارت‌های آموزشی یادگیری تقویتی چندعامله در کنترل ازدحام حمل و نقل شهری هوشمند

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره یادگیری تقویتی چندعامله در کنترل ازدحام حمل و نقل شهری هوشمند

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: یادگیری تقویتی چندعامله برای کنترل ازدحام

📋 سرفصل‌های دوره

• 1. مبانی یادگیری تقویتی و مفاهیم پایه
• 2. مبانی یادگیری تقویتی چندعامله (MARL)
• 3. نظریه جریان ترافیک و مدل‌های ماكروسکوپیک/میکروسکوپیک
• 4. محیط‌های شبیه‌سازی ترافیک شهری (SUMO، CityFlow، Aimsun)
• 5. تعریف عامل‌ها، حالت‌ها، اکشن‌ها و پاداش در کنترل ترافیک
• 6. معماری‌های متمرکز، غیرمتمرکز و ترکیبی در MARL
• 7. یادگیری مستقل Q-learning برای تقاطع‌های جداگانه
• 8. یادگیری هم‌بازی (Cooperative MARL) و چالش‌های غیراستثنایی
• 9. روش‌های تخصیص اعتبار (Credit Assignment) در MARL
• 10. VDN: شبکه تفکیک ارزش (Value Decomposition Networks)
• 11. QMIX: ترکیب ارزش‌های عامل‌ها با شبکه میکسینگ
• 12. COMA: Actor-Critic چندعامله با خطای مزیت متقابل
• 13. MAPPO: بهینه‌سازی política نزدیک چندعامله
• 14. MADDPG: Actor-Critic متمرکز-교육، اجرا غیرمتمرکز
• 15. Mean-Field MARL برای تعداد بسیار زیاد عامل‌ها
• 16. Graph Neural Networks در مدل‌سازی تعاملات تقاطع‌ها
• 17. آموزش متمرکز، اجرا غیرمتمرکز (CTDE) – اصول و پیاده‌سازی
• 18. استراتژی‌های ارتباط بین عامل‌ها (Communication Protocols)
• 19. مشاهده جزئی (Partial Observability) وbelief states
• 20. غیراستثنایی بودن محیط (Non-stationarity) و راهکارهای مهار
• 21. شکل‌دهی پاداش (Reward Shaping) برای کنترل ازدحام
• 22. پاداش‌های چندهدفه: تأخیر، صف، مصرف سوخت، انتشار آلودگی
• 23. کنترل سیگنال‌های ترافیکی تطبیقی (Adaptive Traffic Signal Control)
• 24. کنترل رמפ مترینگ (Ramp Metering) با MARL
• 25. هدایت مسیر دینامیک برای خودروهای متصل
• 26. مدیریت ناوگان خودروی خودران (Autonomous Fleet Management)
• 27. پیش‌بینی تقاضای ترافیک با یادگیری عمیق
• 28. ادغام داده‌های واقعی‌زمان (Loop Detectors، Camera، V2X)
• 29. ارزیابی کارایی: متوسط زمان سفر، طول صف، نرخ عبور
• 30. امنیت و پایداری در کنترل‌های مبتنی بر MARL
• 31. مقاومت در برابر حملات adversarial و خطاهای سنسور
• 32. انتقال یادگیری (Transfer Learning) بین شبکه‌های ترافیکی مختلف
• 33. Sim-to-Real: چالش‌ها و تکنیک‌های دامنه‌سازی
• 34. مطالعه موردی: کنترل تقاطع‌های تهران با QMIX
• 35. مطالعه موردی: کنترل ترافیک کلان‌شهر با MAPPO
• 36. مطالعه موردی: هدایت مسیر هم‌بازی در سنگاپور
• 37. بهینه‌سازی ابرپارامترها در الگوریتم‌های MARL
• 38. مقیاس‌پذیری: از شبکه کوچک به کلان‌شهر
• 39. استفاده از یادگیری تقویتی سلسله‌مراتبی (Hierarchical RL)
• 40. یادگیری تقویتی متافیزیکی (Meta-RL) برای تطبیق سریع
• 41. تحلیل حساسیت به پارامترهای محیط و شبکه
• 42. أدوات کتابخانه‌ای: RLlib، MARLlib، PyMARL، Epymarl
• 43. طراحی آزمایش‌های ablation برای درک مؤلفه‌ها
• 44. معماری‌های سخت‌افزاری برای استنتاج واقعی‌زمان (Edge AI)
• 45. استانداردسازی و پروتکل‌های V2X در کنترل MARL
• 46. ارزیابی مقایسه‌ای با کنترل‌های کلاسیک (Fixed-time، SCATS، SCOOT)
• 47. أخلاق، حریم خصوصی و قوانین در ترافیک هوشمند
• 48. مقدمه بر یادگیری تقویتی چندعامله توزیعی (Decentralized MARL)
• 49. استفاده از یادگیری تقویتی چندعامله در مدیریت پارکینگ هوشمند
• 50. یکپارچه‌سازی با سیستم‌های مدیریت ترافیک موجود (TMS)
• 51. توسعه پلتفرم آموزشی باز (Open-source MARL Traffic Platform)
• 52. روندهای آینده: MARL با مدل‌های زبانی بزرگ (LLM) برای تصمیم‌گیری