کتاب صوتی ساخت عامل‌های Q-Learning؛ از مبانی یادگیری تقویتی تا آموزش عامل در محیط‌های شبیه‌سازی

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره ساخت عامل‌های Q-Learning؛ از مبانی یادگیری تقویتی تا آموزش عامل در محیط‌های شبیه‌سازی

موضوع کلی: هوش مصنوعی و یادگیری تقویتی

موضوع میانی: طراحی و پیاده‌سازی عامل‌های یادگیری تقویتی در محیط‌های شبیه‌سازی

📋 سرفصل‌های دوره

• 1. مبانی یادگیری تقویتی و مفهوم عامل هوشمند
• 2. اجزای اصلی مسئله یادگیری تقویتی
• 3. محیط، عامل، حالت، عمل و پاداش
• 4. فرآیند تصمیم‌گیری مارکوف و MDP
• 5. تابع ارزش حالت و مفهوم بازده
• 6. تابع ارزش عمل و Q-Value
• 7. تفاوت یادگیری تقویتی با یادگیری نظارت‌شده
• 8. اکتشاف و بهره‌برداری در یادگیری تقویتی
• 9. مفهوم Policy و نقش آن در تصمیم‌گیری
• 10. معادله بلمن و ارتباط آن با Q-Learning
• 11. معادله به‌روزرسانی Q-Learning
• 12. پارامتر نرخ یادگیری و تأثیر آن
• 13. پارامتر ضریب تنزیل و تأثیر آن
• 14. مفهوم Epsilon در اکتشاف
• 15. استراتژی Epsilon-Greedy
• 16. زمان‌بندی کاهش Epsilon
• 17. مقداردهی اولیه جدول Q
• 18. ساختار و مدیریت Q-Table
• 19. انتخاب عمل بر اساس Q-Value
• 20. به‌روزرسانی Q-Table پس از هر تجربه
• 21. مفهوم Episode و چرخه آموزش
• 22. مدیریت وضعیت پایان Episode
• 23. طراحی محیط شبیه‌سازی مناسب برای Q-Learning
• 24. تعریف فضای حالت
• 25. تعریف فضای عمل
• 26. طراحی تابع پاداش
• 27. طراحی شرایط پایان محیط
• 28. مدل‌سازی انتقال بین حالت‌ها
• 29. پیاده‌سازی محیط شبیه‌سازی با Python
• 30. ساخت یک Agent پایه برای محیط
• 31. اتصال Agent به محیط
• 32. پیاده‌سازی حلقه تعامل Agent و Environment
• 33. ثبت تجربه‌های Agent در طول آموزش
• 34. پیاده‌سازی الگوریتم Q-Learning از صفر
• 35. اجرای اولین Episode آموزشی
• 36. مدیریت اکتشاف و بهره‌برداری در کد
• 37. تنظیم Hyperparameterهای Q-Learning
• 38. انتخاب نرخ یادگیری مناسب
• 39. انتخاب ضریب تنزیل مناسب
• 40. تنظیم مقدار اولیه Epsilon
• 41. تنظیم نرخ کاهش Epsilon
• 42. محدودکردن تعداد Episodeها
• 43. مدیریت طول Episode
• 44. پایش روند یادگیری Agent
• 45. محاسبه Reward هر Episode
• 46. محاسبه Reward میانگین
• 47. اندازه‌گیری نرخ موفقیت Agent
• 48. تحلیل Convergence در Q-Learning
• 49. تشخیص Under-Exploration
• 50. تشخیص Over-Exploration
• 51. تشخیص نوسان در آموزش
• 52. تشخیص همگرایی زودهنگام
• 53. رفع مشکل یادگیری ضعیف Agent
• 54. طراحی Reward Function مؤثر
• 55. مشکل Reward Sparse و راهکارهای آن
• 56. مشکل Reward Shaping
• 57. جلوگیری از Reward Hacking
• 58. مقیاس‌بندی و نرمال‌سازی پاداش
• 59. مدیریت محیط‌های دارای فضای حالت بزرگ
• 60. Q-Table در محیط‌های گسسته
• 61. Discretization فضای حالت پیوسته
• 62. مدیریت تعداد زیاد حالت‌ها
• 63. محدودیت‌های Q-Table
• 64. تأثیر اندازه فضای حالت بر عملکرد
• 65. آموزش Agent در محیط‌های تصادفی
• 66. مدیریت Stochasticity در محیط
• 67. تکرارپذیری آزمایش‌ها با Random Seed
• 68. ارزیابی Agent پس از پایان آموزش
• 69. تفکیک Training و Evaluation
• 70. اجرای Agent بدون اکتشاف
• 71. مقایسه Policy آموخته‌شده با Policy تصادفی
• 72. ذخیره و بارگذاری Q-Table
• 73. ذخیره مدل آموزش‌دیده
• 74. استفاده مجدد از Agent آموزش‌دیده
• 75. اجرای Agent در محیط جدید
• 76. مقایسه چند Agent و چند Policy
• 77. مقایسه تنظیمات مختلف Hyperparameter
• 78. طراحی آزمایش‌های قابل تکرار
• 79. ثبت نتایج آزمایش‌های یادگیری
• 80. رسم نمودار روند Reward
• 81. رسم نمودار نرخ موفقیت
• 82. تحلیل رفتار Agent در محیط شبیه‌سازی
• 83. Visualization مسیر و تصمیم‌های Agent
• 84. اشکال‌زدایی فرآیند یادگیری
• 85. بررسی خطاهای رایج در پیاده‌سازی Q-Learning
• 86. بهینه‌سازی زمان اجرای آموزش
• 87. مدیریت مصرف حافظه Q-Table
• 88. موازی‌سازی آزمایش‌های Q-Learning
• 89. مقایسه Q-Learning با SARSA
• 90. تفاوت On-Policy و Off-Policy
• 91. محدودیت‌های Q-Learning کلاسیک
• 92. معرفی Double Q-Learning
• 93. مفهوم Deep Q-Learning
• 94. تفاوت Q-Table و شبکه عصبی
• 95. زمان مناسب برای عبور از Q-Table به DQN
• 96. طراحی محیط‌های چندمرحله‌ای
• 97. آموزش Agent برای مسیریابی
• 98. آموزش Agent برای کنترل یک سیستم شبیه‌سازی‌شده
• 99. آموزش Agent در محیط‌های چندهدفه
• 100. مدیریت پاداش‌های تأخیری