کتاب صوتی پیاده‌سازی PPO از پیکسل تا عامل هوشمند: آموزش یادگیری تقویتی عمیق مبتنی بر تصویر

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی PPO از پیکسل تا عامل هوشمند: آموزش یادگیری تقویتی عمیق مبتنی بر تصویر

موضوع کلی: یادگیری تقویتی عمیق و هوش مصنوعی

موضوع میانی: یادگیری تقویتی مبتنی بر تصویر با روش‌های Policy Gradient

📋 سرفصل‌های دوره

• 1. مبانی یادگیری تقویتی از دیدگاه عامل و محیط
• 2. تعریف حالت، عمل، پاداش و سیاست در یادگیری تقویتی
• 3. مسئله تصمیم‌گیری مارکوف و فرآیندهای تصمیم‌گیری متوالی
• 4. تابع ارزش حالت و تابع ارزش عمل
• 5. بازده تنزیل‌شده و نقش ضریب تخفیف
• 6. معادله بلمن و برآورد ارزش
• 7. اکتشاف و بهره‌برداری در یادگیری تقویتی
• 8. یادگیری تقویتی مبتنی بر سیاست و خانواده Policy Gradient
• 9. گرادیان سیاست و هدف بهینه‌سازی آن
• 10. مزایا و محدودیت‌های روش‌های Policy Gradient
• 11. ایده اصلی PPO و ضرورت محدودسازی به‌روزرسانی سیاست
• 12. مقایسه PPO با روش‌های Vanilla Policy Gradient و TRPO
• 13. تابع هدف کلیپ‌شده در PPO
• 14. نسبت احتمال سیاست قدیم و جدید
• 15. محدوده کلیپ و اثر آن بر پایداری آموزش
• 16. تابع مزیت و نقش آن در PPO
• 17. برآورد مزیت با روش GAE
• 18. محاسبه بازده و Targetهای ارزش
• 19. ساختار Actor-Critic در PPO
• 20. طراحی شبکه سیاست و شبکه ارزش
• 21. ورود از پیکسل خام به فضای حالت قابل یادگیری
• 22. چالش‌های یادگیری مستقیم از تصاویر
• 23. پیش‌پردازش فریم‌های تصویری برای عامل
• 24. تبدیل تصاویر به ورودی مناسب شبکه عصبی
• 25. نرمال‌سازی و کاهش ابعاد ورودی تصویری
• 26. انباشتن فریم‌ها برای نمایش حرکت
• 27. طراحی استخراج‌کننده ویژگی تصویری با CNN
• 28. اتصال CNN به شبکه سیاست و ارزش
• 29. انتخاب معماری مناسب برای یادگیری از پیکسل
• 30. طراحی محیط تعاملی برای آموزش عامل
• 31. تعریف فضای عمل گسسته و پیوسته
• 32. مدیریت چرخه مشاهده، عمل، پاداش و پایان اپیزود
• 33. جمع‌آوری تجربه‌های متوالی از محیط
• 34. ساخت Rollout Buffer برای PPO
• 35. ذخیره مشاهده، عمل، پاداش، احتمال و مقدار ارزش
• 36. محاسبه بازده و مزیت پس از جمع‌آوری Rollout
• 37. استانداردسازی مزیت‌ها برای بهبود آموزش
• 38. محاسبه Log Probability برای اعمال
• 39. پیاده‌سازی گام به‌روزرسانی PPO
• 40. محاسبه نسبت سیاست جدید و قدیم
• 41. اعمال Clipping روی نسبت احتمال
• 42. ترکیب زیان سیاست و زیان ارزش
• 43. تنظیم Entropy برای حفظ اکتشاف
• 44. پیاده‌سازی تابع زیان کامل PPO
• 45. به‌روزرسانی شبکه در چند Epoch
• 46. مینی‌بتچ‌سازی داده‌های Rollout
• 47. کنترل اندازه Batch و تعداد Epoch
• 48. جلوگیری از نشت گرادیان بین سیاست قدیم و جدید
• 49. مدیریت بهینه‌سازی و Gradient Clipping
• 50. انتخاب Optimizer و نرخ یادگیری
• 51. تنظیم Hyperparameterهای اصلی PPO
• 52. تنظیم ضریب Clipping
• 53. تنظیم ضریب ارزش و ضریب Entropy
• 54. تنظیم طول Rollout و اندازه Batch
• 55. انتخاب تعداد Epochهای بهینه‌سازی
• 56. مدیریت Seed و تکرارپذیری آزمایش‌ها
• 57. طراحی حلقه آموزش سرتاسری PPO از پیکسل
• 58. اندازه‌گیری بازده و پایداری عامل
• 59. ثبت و تحلیل متریک‌های آموزش
• 60. تشخیص ناپایداری و افت عملکرد سیاست
• 61. تحلیل نسبت‌های Policy و مقدار Clipping
• 62. پایش مقدار Entropy در طول آموزش
• 63. پایش خطای Value Function
• 64. تشخیص مشکلات ناشی از پاداش‌های نامناسب
• 65. رفع خطاهای رایج در پیاده‌سازی PPO
• 66. بهینه‌سازی مصرف حافظه و محاسبات تصویری
• 67. افزایش سرعت جمع‌آوری تجربه با اجرای موازی محیط‌ها
• 68. استفاده از Vectorized Environments در PPO
• 69. هم‌زمان‌سازی داده‌های چند محیط
• 70. تنظیم PPO برای آموزش روی GPU
• 71. مدیریت انتقال داده‌های تصویر بین CPU و GPU
• 72. ارزیابی عامل بدون اکتشاف تصادفی
• 73. مقایسه عملکرد عامل در اپیزودهای ارزیابی
• 74. طراحی آزمایش برای مقایسه تنظیمات PPO
• 75. تحلیل حساسیت نسبت به Hyperparameterها
• 76. مقایسه معماری‌های مختلف CNN
• 77. مقایسه اندازه‌های مختلف Observation
• 78. بررسی تأثیر Frame Stacking بر یادگیری
• 79. بررسی تأثیر Reward Scaling و Normalization
• 80. بررسی اثر نرخ یادگیری بر همگرایی
• 81. بررسی اثر Clip Range بر پایداری
• 82. ذخیره و بازیابی Checkpointهای عامل
• 83. ادامه آموزش از یک مدل ذخیره‌شده
• 84. تست و اعتبارسنجی پیاده‌سازی PPO
• 85. مقایسه نتایج با پیاده‌سازی‌های مرجع
• 86. ساخت یک پروژه کامل PPO از پیکسل تا عامل آموزش‌دیده