فلش‌کارت‌های آموزشی راهنمای جامع برای پیاده‌سازی Distributed Training و Mixed Precision

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره راهنمای جامع برای پیاده‌سازی Distributed Training و Mixed Precision

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مفهوم Distributed Training و ضرورت آن در آموزش مدل‌های بزرگ
• 2. تفاوت Data Parallelism و Model Parallelism
• 3. آشنایی با Pipeline Parallelism و کاربرد آن
• 4. مفاهیم پایه Mixed Precision Training
• 5. نقش FP16 و BF16 در کاهش مصرف حافظه
• 6. تفاوت Automatic Mixed Precision و Manual Mixed Precision
• 7. آماده‌سازی محیط برای آموزش توزیع‌شده با PyTorch
• 8. نصب و پیکربندی NCCL برای ارتباط بین GPUها
• 9. راه‌اندازی DistributedDataParallel در PyTorch
• 10. مدیریت Process Group و Backendهای ارتباطی
• 11. همگام‌سازی گرادیان‌ها در آموزش توزیع‌شده
• 12. استفاده از torch.cuda.amp برای Mixed Precision
• 13. نقش GradScaler در جلوگیری از Underflow
• 14. پیاده‌سازی کامل آموزش با DDP و AMP
• 15. مدیریت Batch Size مؤثر در محیط توزیع‌شده
• 16. استراتژی‌های تقسیم داده بین فرآیندها
• 17. استفاده از DistributedSampler برای داده‌های بزرگ
• 18. تنظیم Learning Rate در آموزش توزیع‌شده
• 19. همگام‌سازی Batch Normalization در چند GPU
• 20. رفع مشکلات رایج Deadlock در Distributed Training
• 21. مانیتورینگ مصرف حافظه GPU در Mixed Precision
• 22. بهینه‌سازی Throughput با تکنیک‌های همپوشانی ارتباط و محاسبه
• 23. پیاده‌سازی Gradient Accumulation همراه با Mixed Precision
• 24. استفاده از ZeRO Optimizer برای کاهش مصرف حافظه
• 25. سطوح مختلف ZeRO و انتخاب سطح مناسب
• 26. ادغام DeepSpeed با Mixed Precision
• 27. پیکربندی DeepSpeed ZeRO برای مدل‌های زبانی بزرگ
• 28. استفاده از FSDP در PyTorch برای مدل‌های بسیار بزرگ
• 29. تفاوت FSDP و DDP از نظر مقیاس‌پذیری
• 30. پیاده‌سازی Activation Checkpointing برای صرفه‌جویی حافظه
• 31. ترکیب Activation Checkpointing با Mixed Precision
• 32. مدیریت Offloading پارامترها و بهینه‌ساز به CPU
• 33. تکنیک‌های کاهش Communication Overhead
• 34. استفاده از Gradient Compression در آموزش توزیع‌شده
• 35. پیکربندی محیط چندنودی با torchrun
• 36. راه‌اندازی آموزش روی کلاسترهای چند ماشین
• 37. مدیریت Fault Tolerance در آموزش طولانی‌مدت
• 38. ذخیره و بازیابی Checkpoint در محیط توزیع‌شده
• 39. همگام‌سازی Checkpointها بین فرآیندها
• 40. تست صحت مدل پس از آموزش با Mixed Precision
• 41. تشخیص و رفع Numerical Instability
• 42. مقایسه عملکرد FP16 و BF16 روی سخت‌افزارهای مختلف
• 43. بهینه‌سازی برای GPUهای NVIDIA با Tensor Core
• 44. استفاده از torch.compile همراه با Distributed Training
• 45. پروفایلینگ عملکرد آموزش توزیع‌شده با PyTorch Profiler
• 46. شناسایی گلوگاه‌های ارتباطی با NCCL Debugger
• 47. تنظیمات پیشرفته NCCL برای شبکه‌های InfiniBand
• 48. پیاده‌سازی Model Parallelism ساده با torch.distributed
• 49. ترکیب Pipeline Parallelism و Data Parallelism
• 50. استفاده از Megatron-LM برای آموزش مدل‌های عظیم
• 51. پیکربندی Tensor Parallelism در چارچوب‌های مدرن
• 52. مدیریت Embedding و Layer Normalization در موازی‌سازی
• 53. بهینه‌سازی Memory Fragmentation در آموزش طولانی
• 54. استراتژی‌های Warmup و Scheduling در محیط توزیع‌شده
• 55. پیاده‌سازی Dynamic Loss Scaling
• 56. تست مقیاس‌پذیری با افزایش تعداد GPU
• 57. محاسبه Ideal Scaling و Efficiency واقعی
• 58. رفع مشکلات همگرایی در آموزش توزیع‌شده
• 59. مستندسازی و نسخه‌بندی پیکربندی‌های آموزش
• 60. بهترین شیوه‌های استقرار نهایی مدل آموزش‌دیده با Mixed Precision