کتاب صوتی حل مسائل بهینه‌سازی با استفاده از Q-Learning

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره حل مسائل بهینه‌سازی با استفاده از Q-Learning

موضوع کلی: یادگیری تقویتی چندعامله (MARL)

موضوع میانی: Q-Learning

📋 سرفصل‌های دوره

• 1. مقدمات یادگیری تقویتی و Q-Learning
• 2. مفاهیم اساسی یادگیری تقویتی
• 3. عامل، محیط، حالت، عمل و پاداش
• 4. مدل‌های یادگیری تقویتی
• 5. یادگیری با نظارت و بدون نظارت
• 6. انواع یادگیری تقویتی: مبتنی بر ارزش و مبتنی بر سیاست
• 7. فرآیندهای تصمیم‌گیری مارکوف (MDP)
• 8. تعریف MDP: مجموعه‌ها، انتقال حالت، تابع پاداش
• 9. معادلات همه‌جانبه Bellman
• 10. حل MDP با الگوریتم‌های تکرار مقداری
• 11. حل MDP با الگوریتم تکرار سیاست
• 12. مفهوم تابع ارزش حالت (V-function)
• 13. مفهوم تابع ارزش عمل-حالت (Q-function)
• 14. ارتباط بین V-function و Q-function
• 15. مقدمه بر Q-Learning
• 16. الگوریتم پایه Q-Learning
• 17. به‌روزرسانی Q-Learning
• 18. نرخ یادگیری (Learning Rate)
• 19. ضریب تنزیل (Discount Factor)
• 20. اکتشاف در مقابل بهره‌برداری (Exploration vs. Exploitation)
• 21. استراتژی‌های اکتشاف: اپسیلون-حریصانه (Epsilon-Greedy)
• 22. معرفی توابع ارزش و سیاست
• 23. یادگیری سیاست مستقیم
• 24. یادگیری مبتنی بر ارزش
• 25. نحوه پیاده‌سازی Q-Learning
• 26. جدول Q
• 27. به‌روزرسانی جدول Q
• 28. مثال‌های ساده Q-Learning
• 29. حل مسئله مسیریابی با Q-Learning
• 30. حل مسئله انبارداری با Q-Learning
• 31. حل مسئله بازی ساده با Q-Learning
• 32. پیاده‌سازی Q-Learning با پایتون
• 33. کتابخانه‌های مرتبط با یادگیری ماشین
• 34. استفاده از NumPy برای محاسبات
• 35. استفاده از Matplotlib برای مصورسازی
• 36. ساخت محیط ساده برای Q-Learning
• 37. تعریف حالت‌ها و اعمال
• 38. تعریف تابع پاداش
• 39. پیاده‌سازی الگوریتم Q-Learning
• 40. آموزش عامل با Q-Learning
• 41. ارزیابی عملکرد عامل
• 42. نکات و ترفندهای پیاده‌سازی
• 43. مدیریت حافظه در Q-Learning
• 44. استفاده از تجربه تکراری (Experience Replay)
• 45. شبکه‌های عصبی عمیق و Q-Learning
• 46. یادگیری تقویتی عمیق (Deep Reinforcement Learning)
• 47. معرفی شبکه‌های عصبی کانولوشنی (CNN)
• 48. معرفی شبکه‌های عصبی بازگشتی (RNN)
• 49. Deep Q-Networks (DQN)
• 50. معماری DQN
• 51. تابع هزینه در DQN
• 52. آموزش DQN
• 53. مشکل ناپایداری در DQN
• 54. Double DQN
• 55. Prioritized Experience Replay
• 56. Dueling DQN
• 57. Rainbow DQN
• 58. کاربرد Q-Learning در مسائل پیچیده
• 59. حل مسائل بهینه‌سازی در رباتیک
• 60. کنترل ربات‌ها با Q-Learning
• 61. بهینه‌سازی مسیر ربات‌ها
• 62. کاربرد Q-Learning در بازی‌ها
• 63. بازی آتاری با DQN
• 64. بازی‌های استراتژیک
• 65. کاربرد Q-Learning در سیستم‌های توصیه‌گر
• 66. شخصی‌سازی توصیه‌ها
• 67. بهینه‌سازی توصیه‌ها
• 68. کاربرد Q-Learning در مدیریت منابع
• 69. بهینه‌سازی مصرف انرژی
• 70. مدیریت ترافیک
• 71. کاربرد Q-Learning در مسائل اقتصادی
• 72. بهینه‌سازی سبد سهام
• 73. مدیریت ریسک
• 74. کاربرد Q-Learning در سلامت
• 75. تشخیص بیماری
• 76. طراحی درمان
• 77. ملاحظات اخلاقی در یادگیری تقویتی
• 78. مسئولیت‌پذیری عامل‌ها
• 79. شفافیت الگوریتم‌ها
• 80. امنیت در یادگیری تقویتی
• 81. حملات به عامل‌های یادگیری تقویتی
• 82. دفاع در برابر حملات
• 83. چالش‌های Q-Learning
• 84. مقیاس‌پذیری Q-Learning
• 85. مشکل فضای حالت بزرگ
• 86. مشکل فضای عمل بزرگ
• 87. حل مسائل بهینه‌سازی با رویکردهای پیشرفته
• 88. یادگیری سیاست عمیق (Deep Policy Gradients)
• 89. Actor-Critic Methods
• 90. Proximal Policy Optimization (PPO)
• 91. Asynchronous Advantage Actor-Critic (A3C)
• 92. Ape-X DQN
• 93. AlphaGo و AlphaZero
• 94. مقایسه Q-Learning با سایر الگوریتم‌های یادگیری تقویتی
• 95. یادگیری تقویتی در عمل: مطالعه موردی
• 96. تمرین‌های عملی پیشرفته
• 97. طراحی یک مسئله بهینه‌سازی دلخواه
• 98. پیاده‌سازی و آموزش عامل
• 99. تحلیل نتایج و ارزیابی عملکرد
• 100. مرور کلی بر پیشرفت‌های اخیر در یادگیری تقویتی