فلش‌کارت‌های آموزشی مقدمه‌ای بر محاسبات در بهینه‌سازی مدل‌های یادگیری عمیق

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره مقدمه‌ای بر محاسبات در بهینه‌سازی مدل‌های یادگیری عمیق

موضوع کلی: برنامه نویسی

موضوع میانی: محاسبات سطح بالا (High-Performance Computing)

📋 سرفصل‌های دوره

• 1. مبانی بهینه‌سازی در یادگیری عمیق
• 2. مقدمه‌ای بر حساب دیفرانسیل و انتگرال برای یادگیری ماشین
• 3. مبانی جبر خطی برای یادگیری ماشین
• 4. مفاهیم اساسی بهینه‌سازی: گرادیان و مشتق
• 5. روش‌های نزول گرادیان پایه
• 6. بهینه‌سازی با شتاب: مومنتوم
• 7. بهینه‌سازی آدام (Adam)
• 8. بهینه‌سازی RMSprop
• 9. بهینه‌سازی AdaGrad
• 10. تنظیم نرخ یادگیری (Learning Rate Scheduling)
• 11. روش‌های انحلال نرخ یادگیری (Learning Rate Decay)
• 12. مفهوم تابع هزینه (Loss Function)
• 13. توابع هزینه متداول در رگرسیون
• 14. توابع هزینه متداول در طبقه‌بندی
• 15. تابع هزینه اطلاعات متقاطع (Cross-Entropy Loss)
• 16. تابع هزینه خطای میانگین مربعات (MSE Loss)
• 17. تابع هزینه خطای میانگین مطلق (MAE Loss)
• 18. تنظیم‌گرهای وزن (Weight Regularization)
• 19. تنظیم‌گر L1 (Lasso Regularization)
• 20. تنظیم‌گر L2 (Ridge Regularization)
• 21. تنظیم‌گر Dropout
• 22. مفهوم بیش‌برازش (Overfitting) و کم‌برازش (Underfitting)
• 23. تشخیص بیش‌برازش
• 24. روش‌های جلوگیری از بیش‌برازش
• 25. اعتبارسنجی متقابل (Cross-Validation)
• 26. اعتبارسنجی K-Fold
• 27. تقسیم داده‌ها به مجموعه‌های آموزش، اعتبارسنجی و تست
• 28. ارزیابی مدل‌ها: معیارهای دقت (Accuracy)
• 29. ارزیابی مدل‌ها: معیارهای صحت (Precision) و بازخوانی (Recall)
• 30. ارزیابی مدل‌ها: امتیاز F1
• 31. منحنی ROC و مساحت زیر منحنی (AUC)
• 32. مفهوم بهینه‌سازی محدب (Convex Optimization)
• 33. توابع محدب و غیرمحدب
• 34. شرایط بهینگی برای توابع محدب
• 35. حل مسائل بهینه‌سازی محدب
• 36. مفهوم بهینه‌سازی غیرمحدب
• 37. چالش‌های بهینه‌سازی غیرمحدب
• 38. نقاط بحرانی و مینیمم‌های محلی
• 39. روش‌های جستجوی سراسری (Global Search Methods)
• 40. بهینه‌سازی تصادفی (Stochastic Optimization)
• 41. روش‌های گرادیان تصادفی (SGD)
• 42. بهینه‌سازی دسته‌ای (Batch Optimization)
• 43. مفهوم گرادیان در فضاهای چندبعدی
• 44. محاسبه گرادیان با استفاده از قاعده زنجیره‌ای
• 45. پیاده‌سازی گرادیان خودکار (Automatic Differentiation)
• 46. کتابخانه‌های بهینه‌سازی در یادگیری عمیق (TensorFlow, PyTorch)
• 47. مقدمه‌ای بر شبکه‌های عصبی پرسپترون چندلایه (MLP)
• 48. آموزش شبکه‌های MLP با گرادیان کاهشی
• 49. بهینه‌سازی در شبکه‌های کانولوشنی (CNN)
• 50. بهینه‌سازی در شبکه‌های بازگشتی (RNN)
• 51. بهینه‌سازی در مدل‌های ترنسفورمر (Transformer)
• 52. تنظیم ابرپارامترها (Hyperparameter Tuning)
• 53. جستجوی شبکه‌ای (Grid Search)
• 54. جستجوی تصادفی (Random Search)
• 55. بهینه‌سازی بیزی (Bayesian Optimization)
• 56. استفاده از ابزارهای تنظیم ابرپارامتر (Optuna, Hyperopt)
• 57. مفهوم بهینه‌سازی توزیع‌شده (Distributed Optimization)
• 58. آموزش موازی (Data Parallelism)
• 59. آموزش موازی مدل (Model Parallelism)
• 60. بهینه‌سازی بر روی چندین GPU
• 61. بهینه‌سازی بر روی چندین ماشین
• 62. چالش‌های بهینه‌سازی توزیع‌شده
• 63. مفهوم بهینه‌سازی تطبیقی (Adaptive Optimization)
• 64. بهینه‌سازی با حافظه (Memory-based Optimization)
• 65. روش‌های بهینه‌سازی برای مدل‌های بزرگ
• 66. بهینه‌سازی مدل‌های با پارامترهای زیاد
• 67. استفاده از تکنیک‌های کاهش بعد (Dimensionality Reduction)
• 68. تحلیل مولفه‌های اصلی (PCA)
• 69. تعبیه‌سازی کلمات (Word Embeddings)
• 70. بهینه‌سازی در سیستم‌های توصیه‌گر
• 71. بهینه‌سازی در پردازش زبان طبیعی (NLP)
• 72. بهینه‌سازی در بینایی ماشین (Computer Vision)
• 73. بهینه‌سازی در رباتیک
• 74. مفهوم بهینه‌سازی پایدار (Stable Optimization)
• 75. روش‌های جلوگیری از واگرایی در بهینه‌سازی
• 76. بهینه‌سازی برای داده‌های نامتوازن
• 77. مفهوم یادگیری تقویتی (Reinforcement Learning)
• 78. بهینه‌سازی سیاست (Policy Optimization)
• 79. الگوریتم‌های Actor-Critic
• 80. بهینه‌سازی با استفاده از مدل (Model-Based Optimization)
• 81. بهینه‌سازی بدون استفاده از مدل (Model-Free Optimization)
• 82. مفهوم بهینه‌سازی در زمان واقعی (Real-time Optimization)
• 83. بهینه‌سازی برای سیستم‌های پویا
• 84. کاربرد بهینه‌سازی در صنعت
• 85. کاربرد بهینه‌سازی در تحقیقات علمی
• 86. ملاحظات اخلاقی در بهینه‌سازی مدل‌ها
• 87. حفظ حریم خصوصی در داده‌های آموزشی
• 88. شفافیت در الگوریتم‌های بهینه‌سازی
• 89. مسئولیت‌پذیری در نتایج بهینه‌سازی
• 90. آیندهٔ بهینه‌سازی در یادگیری عمیق