فلش‌کارت‌های آموزشی راهنمای عملی برای پیاده‌سازی Distributed Training

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای عملی برای پیاده‌سازی Distributed Training

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر آموزش توزیع‌شده
• 2. چرا به آموزش توزیع‌شده نیاز داریم؟
• 3. معماری‌های موازی برای آموزش مدل‌های بزرگ
• 4. انواع موازی‌سازی: Data Parallelism
• 5. انواع موازی‌سازی: Model Parallelism
• 6. انواع موازی‌سازی: Pipeline Parallelism
• 7. چارچوب‌های آموزش توزیع‌شده: PyTorch DistributedDataParallel
• 8. چارچوب‌های آموزش توزیع‌شده: TensorFlow Distributed
• 9. چارچوب‌های آموزش توزیع‌شده: Horovod
• 10. ارتباطات جمعی (Collective Communications) در Distributed Training
• 11. الگوریتم‌های کاهش (Reduction Algorithms)
• 12. همگام‌سازی گرادیان‌ها (Gradient Synchronization)
• 13. استراتژی‌های همگام‌سازی گرادیان‌ها: Synchronous SGD
• 14. استراتژی‌های همگام‌سازی گرادیان‌ها: Asynchronous SGD
• 15. چالش‌های آموزش توزیع‌شده: Communication Overhead
• 16. چالش‌های آموزش توزیع‌شده: Load Balancing
• 17. چالش‌های آموزش توزیع‌شده: Fault Tolerance
• 18. تنظیمات سخت‌افزاری برای Distributed Training: GPUها
• 19. تنظیمات سخت‌افزاری برای Distributed Training: شبکه‌ها (InfiniBand, Ethernet)
• 20. مقیاس‌پذیری آموزش توزیع‌شده
• 21. بهینه‌سازی ارتباطات در Distributed Training
• 22. فشرده‌سازی گرادیان (Gradient Compression)
• 23. Quantization برای کاهش حجم ارتباطات
• 24. روش‌های کاهش حجم داده‌ها در Distributed Training
• 25. استفاده از All-Reduce برای تسریع همگام‌سازی
• 26. استفاده از Ring All-Reduce
• 27. استفاده از Tree All-Reduce
• 28. استفاده از Tensor Parallelism
• 29. استفاده از Expert Parallelism
• 30. پیاده‌سازی Distributed Training با PyTorch Lightning
• 31. Distributed Training با TensorFlow و Keras
• 32. Distributed Training با DeepSpeed
• 33. Distributed Training با FairScale
• 34. نظارت و گزارش‌گیری در Distributed Training
• 35. Debugging آموزش توزیع‌شده
• 36. بهینه‌سازی عملکرد Distributed Training
• 37. استفاده از پروفایلرها برای شناسایی گلوگاه‌ها
• 38. استفاده از ابزارهای مانیتورینگ
• 39. Distributed Training در محیط‌های ابری
• 40. استفاده از Kubernetes برای مدیریت خوشه‌های Distributed Training
• 41. استفاده از Docker برای بسته‌بندی و استقرار Distributed Training
• 42. بهینه‌سازی Batch Size در Distributed Training
• 43. تاثیر Batch Size بر همگرایی و عملکرد
• 44. استراتژی‌های تنظیم Batch Size
• 45. استفاده از Learning Rate Scheduling در Distributed Training
• 46. تنظیم Learning Rate برای هر پردازنده
• 47. استراتژی‌های تنظیم Learning Rate در Distributed Training
• 48. Mixed Precision Training
• 49. مزایای استفاده از Mixed Precision Training
• 50. پیاده‌سازی Mixed Precision Training با PyTorch
• 51. پیاده‌سازی Mixed Precision Training با TensorFlow
• 52. استفاده از Automatic Mixed Precision (AMP)
• 53. مقایسه Distributed Training و Data Parallelism
• 54. انتخاب استراتژی مناسب Distributed Training
• 55. به‌روزرسانی وزن‌ها در Distributed Training
• 56. روش‌های مختلف به‌روزرسانی وزن‌ها
• 57. استفاده از Distributed Optimizerها
• 58. روش‌های مقابله با Drift در Distributed Training
• 59. تکنیک‌های بهبود پایداری Distributed Training
• 60. استفاده از Checkpointing در Distributed Training
• 61. بازیابی از خرابی در Distributed Training
• 62. باورهای غلط رایج در Distributed Training
• 63. بهترین روش‌ها برای Distributed Training
• 64. مطالعه موردی: آموزش یک مدل زبانی بزرگ به صورت توزیع‌شده
• 65. آینده Distributed Training