اپلیکیشن اندرویدی فلش‌کارت آموزشی بهینه‌سازی گرادیان کاهشی (Gradient Descent)

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی گرادیان کاهشی (Gradient Descent)

موضوع کلی: برنامه نویسی

موضوع میانی: یادگیری عمیق (Deep Learning)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر بهینه‌سازی در یادگیری ماشین
• 2. نقش تابع هزینه (Loss Function)
• 3. مروری بر مفاهیم حساب دیفرانسیل: مشتق
• 4. مشتقات جزئی و مفهوم گرادیان
• 5. قاعده زنجیره‌ای (Chain Rule) و کاربرد آن در شبکه‌های عصبی
• 6. فضای پارامترها و منظره هزینه (Loss Landscape)
• 7. مفهوم کمینه‌های محلی و سراسری (Local vs. Global Minima)
• 8. مقدمه‌ای بر گرادیان کاهشی: شهود و ایده اصلی
• 9. الگوریتم گرادیان کاهشی دسته‌ای (Batch Gradient Descent)
• 10. نقش نرخ یادگیری (Learning Rate)
• 11. تجسم گرادیان کاهشی در یک و دو بعد
• 12. پیاده‌سازی گرادیان کاهشی دسته‌ای از ابتدا
• 13. چالش‌های گرادیان کاهشی دسته‌ای: محاسبات سنگین و حافظه
• 14. گرادیان کاهشی تصادفی (Stochastic Gradient Descent - SGD)
• 15. تفاوت‌های کلیدی بین Batch GD و SGD
• 16. مزایا و معایب SGD: نویز و سرعت
• 17. مفهوم Epoch و تکرار (Iteration)
• 18. گرادیان کاهشی مینی‌بچ (Mini-batch Gradient Descent)
• 19. انتخاب اندازه بهینه مینی‌بچ
• 20. مقایسه سه نوع گرادیان کاهشی: Batch, SGD, Mini-batch
• 21. مشکل نوسان در مسیر بهینه‌سازی
• 22. مقدمه‌ای بر بهینه‌سازهای مبتنی بر تکانه (Momentum)
• 23. بهینه‌ساز تکانه (Momentum Optimizer): شهود و فرمول‌بندی
• 24. نقش ضریب تکانه (Momentum Coefficient)
• 25. تجسم اثر تکانه در عبور از کمینه‌های محلی سطحی
• 26. تکانه شتاب‌یافته نستروف (Nesterov Accelerated Gradient - NAG)
• 27. تفاوت کلیدی بین تکانه استاندارد و نستروف
• 28. پیاده‌سازی Momentum و NAG
• 29. چالش نرخ یادگیری یکسان برای تمام پارامترها
• 30. مقدمه‌ای بر بهینه‌سازهای با نرخ یادگیری انطباقی
• 31. بهینه‌ساز AdaGrad: Adaptive Gradient Algorithm
• 32. مشکل کاهش دائمی نرخ یادگیری در AdaGrad
• 33. بهینه‌ساز AdaDelta: یک رویکرد جایگزین برای AdaGrad
• 34. بهینه‌ساز RMSprop: Root Mean Square Propagation
• 35. نقش میانگین متحرک نمایی (Exponential Moving Average)
• 36. مقایسه AdaGrad و RMSprop
• 37. بهینه‌ساز Adam: Adaptive Moment Estimation
• 38. ترکیب تکانه و RMSprop در Adam
• 39. مفهوم تخمین‌های بایاس‌شده و تصحیح بایاس در Adam
• 40. پارامترهای Beta1 و Beta2 در Adam
• 41. پیاده‌سازی Adam از ابتدا
• 42. بررسی عملکرد Adam در عمل
• 43. بهینه‌ساز AdamW: Decoupled Weight Decay
• 44. تفاوت بین L2 Regularization و Weight Decay
• 45. بهینه‌ساز Nadam: Nesterov-accelerated Adam
• 46. بهینه‌ساز AMSGrad و رفع مشکل همگرایی Adam
• 47. مروری بر خانواده بهینه‌سازهای انطباقی
• 48. مشکلات منظره هزینه: نقاط زینی (Saddle Points)
• 49. چرا نقاط زینی در ابعاد بالا یک مشکل بزرگ هستند؟
• 50. چگونه بهینه‌سازهای مدرن با نقاط زینی مقابله می‌کنند؟
• 51. مشکل فلات‌ها (Plateaus) در منظره هزینه
• 52. مشکل گرادیان‌های محوشونده (Vanishing Gradients)
• 53. مشکل گرادیان‌های انفجاری (Exploding Gradients)
• 54. تکنیک برش گرادیان (Gradient Clipping)
• 55. تأثیر مقداردهی اولیه وزن‌ها بر بهینه‌سازی
• 56. تأثیر نرمال‌سازی داده‌ها بر فرآیند بهینه‌سازی
• 57. نرمال‌سازی دسته‌ای (Batch Normalization) و تأثیر آن بر منظره هزینه
• 58. مقدمه‌ای بر برنامه‌ریزی نرخ یادگیری (Learning Rate Scheduling)
• 59. برنامه‌ریز نرخ یادگیری پله‌ای (Step Decay)
• 60. برنامه‌ریز نرخ یادگیری نمایی (Exponential Decay)
• 61. برنامه‌ریز نرخ یادگیری کسینوسی (Cosine Annealing)
• 62. استراتژی گرم کردن نرخ یادگیری (Learning Rate Warmup)
• 63. نرخ‌های یادگیری چرخه‌ای (Cyclical Learning Rates)
• 64. پیدا کردن نرخ یادگیری بهینه: تکنیک LR Range Test
• 65. بهینه‌سازی و تعمیم (Generalization)
• 66. مفهوم کمینه‌های تیز و مسطح (Sharp vs. Flat Minima)
• 67. ارتباط اندازه بچ با تعمیم‌پذیری مدل
• 68. بهینه‌سازی مرتبه دوم: مقدمه‌ای بر روش نیوتن
• 69. محدودیت‌های روش نیوتن: محاسبه ماتریس هسین
• 70. روش‌های شبه‌نیوتن (Quasi-Newton Methods): BFGS و L-BFGS
• 71. مقایسه روش‌های مرتبه اول و مرتبه دوم
• 72. پیاده‌سازی بهینه‌سازها در PyTorch
• 73. پیاده‌سازی بهینه‌سازها در TensorFlow/Keras
• 74. تنظیم هایپرپارامترهای بهینه‌سازها
• 75. نکات عملی برای انتخاب بهینه‌ساز مناسب
• 76. دیباگ کردن فرآیند بهینه‌سازی: وقتی مدل همگرا نمی‌شود
• 77. مانیتورینگ منحنی هزینه در طول آموزش
• 78. تأثیر معماری شبکه بر فرآیند بهینه‌سازی
• 79. بهینه‌سازی در شبکه‌های عصبی بازگشتی (RNNs)
• 80. بهینه‌سازی در شبکه‌های مبتنی بر ترنسفورمر
• 81. بهینه‌سازی در مدل‌های بزرگ زبان (LLMs)
• 82. بهینه‌سازی برای آموزش توزیع‌شده و موازی
• 83. همگام‌سازی گرادیان‌ها در آموزش موازی داده
• 84. چالش‌های آموزش با بچ‌های بسیار بزرگ
• 85. تکنیک‌های تنظیم نرخ یادگیری برای بچ‌های بزرگ (LARS)
• 86. مباحث نظری: اثبات همگرایی SGD
• 87. شرایط رابینز-مونرو برای همگرایی
• 88. همگرایی در توابع محدب و غیرمحدب
• 89. تخمین گرادیان و واریانس آن
• 90. کاهش واریانس گرادیان
• 91. بهینه‌سازی بدون گرادیان (Gradient-Free Optimization)
• 92. الگوریتم‌های تکاملی به عنوان بهینه‌ساز
• 93. مقایسه بهینه‌سازی مبتنی بر گرادیان و بدون گرادیان
• 94. روندهای تحقیقاتی جدید در بهینه‌سازی گرادیان کاهشی
• 95. مطالعه موردی ۱: بهینه‌سازی یک شبکه کانولوشنی (CNN)
• 96. مطالعه موردی ۲: بهینه‌سازی یک مدل پردازش زبان طبیعی (NLP)
• 97. جمع‌بندی و مقایسه جامع بهینه‌سازها
• 98. چگونه بهینه‌ساز مناسب برای پروژه خود را انتخاب کنیم؟
• 99. پروژه نهایی: پیاده‌سازی و مقایسه عملکرد چندین بهینه‌ساز
• 100. چشم‌انداز آینده بهینه‌سازی در یادگیری عمیق