فلش‌کارت‌های آموزشی بهینه‌سازی آموزش مدل‌های یادگیری ماشین با Ray در پروژه‌های بزرگ

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی آموزش مدل‌های یادگیری ماشین با Ray در پروژه‌های بزرگ

موضوع کلی: هوش مصنوعی و یادگیری ماشین

موضوع میانی: آموزش توزیع‌شده و مقیاس‌پذیر مدل‌های یادگیری ماشین

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر یادگیری ماشین در مقیاس بزرگ
• 2. مفاهیم اساسی آموزش توزیع‌شده
• 3. چالش‌های آموزش مدل‌های بزرگ
• 4. معرفی Ray برای محاسبات توزیع‌شده
• 5. معماری Ray و اجزای کلیدی آن
• 6. مفاهیم Actor و Task در Ray
• 7. نصب و راه‌اندازی Ray
• 8. اولین گام‌ها با Ray: اجرای ساده
• 9. پردازش داده‌های حجیم با Ray Datasets
• 10. انتقال داده بین Ray Datasets و فرمت‌های دیگر
• 11. پردازش موازی داده‌ها با Ray
• 12. توزیع محاسبات با Ray Tasks
• 13. مدیریت منابع در Ray
• 14. زمان‌بندی وظایف در Ray
• 15. خطایابی و اشکال‌زدایی در Ray
• 16. پایش عملکرد سیستم Ray
• 17. مقدمه‌ای بر آموزش توزیع‌شده یادگیری ماشین
• 18. روش‌های موازی‌سازی آموزش مدل
• 19. موازی‌سازی داده (Data Parallelism)
• 20. موازی‌سازی مدل (Model Parallelism)
• 21. موازی‌سازی پایپ‌لاین (Pipeline Parallelism)
• 22. ترکیب روش‌های موازی‌سازی
• 23. آموزش توزیع‌شده با Ray Train
• 24. معماری Ray Train
• 25. اجزای کلیدی Ray Train
• 26. آموزش مدل‌های TensorFlow با Ray Train
• 27. آموزش مدل‌های PyTorch با Ray Train
• 28. آموزش مدل‌های Scikit-learn با Ray Train
• 29. تنظیمات پیشرفته در Ray Train
• 30. مدیریت Checkpoint در Ray Train
• 31. بازیابی از خرابی در Ray Train
• 32. آموزش مدل‌های بزرگ با حافظه محدود
• 33. استفاده از Gradient Accumulation
• 34. استفاده از Mixed Precision Training
• 35. تکنیک‌های کاهش مصرف حافظه
• 36. بهینه‌سازی ارتباطات بین Workerها
• 37. استفاده از کتابخانه‌های ارتباطی بهینه
• 38. بهینه‌سازی تنظیمات Ray
• 39. پایش و تحلیل عملکرد آموزش توزیع‌شده
• 40. شناسایی گلوگاه‌ها در آموزش توزیع‌شده
• 41. تکنیک‌های پیشرفته اشکال‌زدایی
• 42. مدیریت چندین آزمایش آموزش (Hyperparameter Tuning)
• 43. مقدمه‌ای بر Ray Tune
• 44. اجزای کلیدی Ray Tune
• 45. جستجوی شبکه‌ای (Grid Search)
• 46. جستجوی تصادفی (Random Search)
• 47. بهینه‌سازی بیزی (Bayesian Optimization)
• 48. بهینه‌سازی مبتنی بر اشیاء (Hyperband, Population Based Training)
• 49. تنظیمات پیشرفته در Ray Tune
• 50. مدیریت منابع در Ray Tune
• 51. یکپارچه‌سازی Ray Tune با Ray Train
• 52. مقدمه‌ای بر Ray Serve برای استقرار مدل
• 53. معماری Ray Serve
• 54. استقرار مدل‌های یادگیری ماشین با Ray Serve
• 55. مدیریت نسخه‌های مدل
• 56. مقیاس‌پذیری خودکار در Ray Serve
• 57. مانیتورینگ و پایش سرویس‌های Ray Serve
• 58. امنیت در Ray Serve
• 59. مقدمه‌ای بر Ray AI Runtime (AIR)
• 60. اجزای Ray AIR
• 61. یکپارچه‌سازی Ray AIR با Ray Train و Ray Tune
• 62. استفاده از Ray AIR برای گردش کار کامل ML
• 63. کاربرد Ray در پروژه‌های واقعی
• 64. مطالعه موردی: آموزش مدل‌های پردازش تصویر با Ray
• 65. مطالعه موردی: آموزش مدل‌های پردازش زبان طبیعی با Ray
• 66. مطالعه موردی: آموزش مدل‌های توصیه‌گر با Ray
• 67. مطالعه موردی: آموزش مدل‌های یادگیری تقویتی با Ray
• 68. ملاحظات عملی در پیاده‌سازی آموزش توزیع‌شده
• 69. مدیریت زیرساخت‌های ابری برای Ray
• 70. استفاده از Ray در محیط‌های On-Premise
• 71. نکات کلیدی برای موفقیت در پروژه‌های بزرگ
• 72. آینده Ray و یادگیری ماشین توزیع‌شده
• 73. مباحث پیشرفته در Ray
• 74. موازی‌سازی برای مدل‌های بسیار بزرگ (Mixture of Experts)
• 75. آموزش federated با Ray
• 76. آموزش مداوم (Continual Learning) با Ray
• 77. استفاده از Ray برای یادگیری تقویتی عمیق
• 78. معرفی ابزارهای کمکی در اکوسیستم Ray
• 79. Ray Datasets در عمل
• 80. Ray Train برای فریم‌ورک‌های مختلف
• 81. Ray Tune برای سناریوهای پیچیده
• 82. Ray Serve برای APIهای پیشرفته
• 83. بهینه‌سازی مداوم عملکرد Ray
• 84. چالش‌های مقیاس‌پذیری در Ray
• 85. روش‌های نوین در آموزش توزیع‌شده
• 86. ملاحظات امنیتی در سیستم‌های توزیع‌شده ML
• 87. مدیریت چرخه حیات مدل با Ray
• 88. تجربه‌های عملی از پیاده‌سازی در مقیاس صنعتی
• 89. نکات پایانی برای مهندسان یادگیری ماشین