کتاب صوتی کاربرد نوین MARL در اتوماسیون صنعتی: تمرکز بر زیرساخت‌های حیاتی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره کاربرد نوین MARL در اتوماسیون صنعتی: تمرکز بر زیرساخت‌های حیاتی

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: یادگیری تقویتی چندعامله برای کنترل ربات‌های صنعتی برای انجام وظایف بازرسی و تعمیر زیرساخت‌های حیاتی

📋 سرفصل‌های دوره

• 1. مبانی یادگیری تقویتی: مفاهیم پایه، مارکوف دیسیژن پراسس و توابع ارزش
• 2. مقدمه بر یادگیری تقویتی چندعامله: تفاوت با تک‌عامله، چالش‌های همکاری و رقابت
• 3. معماری‌های عامله در سیستم‌های چندرباتی: عامله‌های همگن، ناهمگن، سلسله‌مراتبی
• 4. الگوریتم‌های کلاسیک MARL: Independent Q-Learning، VDN، QMIX
• 5. الگوریتم‌های مبتنی بر_policy gradient چندعامله: MAPPO، COMA، MADDPG
• 6. مکانیزم‌های اشتراک‌گذاری اطلاعات: ارتباط صریح، ضمنی، و مبتنی بر توجه
• 7. مدل‌سازی محیط‌های صنعتی: دینامیک ربات، سنسورها، موانع و نویز
• 8. شبیه‌سازی‌های فیزیکی-واقعی برای MARL: Gazebo، Isaac Sim، Webots، Unity ML-Agents
• 9. طراحی فضای حالت و اقدام برای ربات‌های بازرسی و تعمیر
• 10. تعریف توابع پاداش چندهدفه: ایمنی، سرعت، دقت بازرسی، مصرف انرژی
• 11. استراتژی‌های کاوش-استفاده در محیط‌های چندعامله پرخطر
• 12. آموزش متمرکز-اجرای توزیع‌شده (CTDE): اصول، مزایا و پیاده‌سازی
• 13. استفاده از Digital Twin برای آموزش و اعتبارسنجی سیاست‌های MARL
• 14. انتقال از شبیه‌سازی به واقعیت (Sim-to-Real): Domain Randomization، System Identification
• 15. امنیت و اطمینان در MARL: Safe RL، Constrained Policy Optimization، Shielding
• 16. تشخیص و عیب‌یابی خودکار با عامله‌های بازرسی: پردازش تصاویر، لیدر، امواج فراصوت
• 17. برنامه‌ریزی مسیریابی چندرباتی برای پوشش کامل زیرساخت
• 18. همکاری در حمل ابزار و قطعات یدکی توسط ربات‌های تعمیر
• 19. مدیریت Flotte رباتی: تخصیص وظایف، توازن بار، بازیابی از خرابی
• 20. ارتباطات بی‌سیم در زیرساخت‌های حیاتی: تأخیر، باند، پروتکل‌های TSN/5G
• 21. استفاده از Edge Computing برای استنتاج سریع سیاست‌های MARL
• 22. ارزیابی کارایی: معیارهای KPI، سناریوهای تست، مقایسه با کنترل کلاسسیک
• 23. مطالعه موردی: بازرسی لوله‌های نفت و گاز با تیم رباتی MARL
• 24. مطالعه موردی: تعمیر خطوط انتقال برق تحت فشار بالا
• 25. مطالعه موردی: نظارت بر سدها و پل‌ها با ربات‌های زیرآبی و هوایی
• 26. پیاده‌سازی پایپ‌لاین CI/CD برای مدل‌های MARL در محیط تولید
• 27. مدیریت نسخه‌سازی و مانیتورینگ مدل در عملیات واقعی
• 28. اخلاقیات، مسئولیت‌پذیری و استانداردهای صنعتی (ISO 10218، IEC 61508)
• 29. روندهای پیشرفته: Hierarchical MARL، Meta-RL، Lifelong Learning در اتوماسیون
• 30. پروژه نهایی: طراحی، آموزش و استقرار یک سیستم MARL برای بازرسی و تعمیر یک زیرساخت حیاتی