کتاب صوتی بهینه‌سازی فرآیند ارتباطات در Distributed Training

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی فرآیند ارتباطات در Distributed Training

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر آموزش توزیع‌شده (Distributed Training) و چالش‌های گلوگاه ارتباطی
• 2. بررسی معماری‌های سخت‌افزاری و توپولوژی‌های شبکه در کلاسترهای هوش مصنوعی
• 3. مفاهیم پایه پرایمتیوهای ارتباطی: Broadcast، Reduce، All-Reduce و All-Gather
• 4. آشنایی با کتابخانه NCCL و بهینه‌سازی‌های سخت‌افزاری برای کارت‌های گرافیک انویدیا
• 5. تحلیل پروتکل‌های ارتباطی پوینت‌تو‌پوینت و جمعی در MPI و کتابخانه‌های زیرساختی
• 6. استفاده از الگوریتم Ring All-Reduce و بررسی ریاضیاتی و عملکردی آن
• 7. مقایسه الگوریتم‌های Tree-based All-Reduce با Ring All-Reduce در مقیاس‌های بزرگ
• 8. مدیریت و کاهش ترافیک شبکه در استراتژی Data Parallelism سنتی
• 9. نقش و نحوه عملکرد ZeRO (Zero Redundancy Optimizer) در کاهش هزینه‌های ارتباطی
• 10. بهینه‌سازی ارتباطات در استراتژی‌های Pipeline Parallelism و Tensor Parallelism
• 11. روش‌های فشرده‌سازی گرادیان (Gradient Compression) برای کاهش حجم داده‌های ارسالی
• 12. تکنیک کوانتیزاسیون گرادیان (Gradient Quantization) و تاثیر آن بر دقت و سرعت آموزش
• 13. روش‌های Sparsification و انتقال انتخابی گرادیان‌ها در شبکه
• 14. پنهان‌سازی تاخیر ارتباطی (Communication-Computation Overlapping) با استفاده از اسنکرونوس
• 15. اجرای همزمان محاسبات رو به جلو و عقب با انتقال گرادیان در PyTorch DDP
• 16. مدیریت بافرها و بهینه‌سازی تخصیص حافظه برای کاهش سربار انتقال داده‌ها
• 17. استفاده از Zero-Bubble Pipeline Scheduling برای به حداقل رساندن زمان انتظار ارتباطی
• 18. بررسی تاثیر پهنای باند و تاخیر شبکه (Latnecy) روی مقیاس‌پذیری افقی مدل‌های زبانی بزرگ
• 19. تنظیم پارامترهای پیشرفته محیطی مانند NCCL_IB_DISABLE و متغیرهای سرعت شبکه
• 20. مدیریت خطاهای شبکه، پایداری کلاستر و بازیابی خطا در آموزش‌های طولانی‌مدت توزیع‌شده
• 21. پایش، مانیتورینگ و ابزارسنجی پهنای باند و ترافیک شبکه با ابزارهایی مانند PyTorch Profiler
• 22. بهینه‌سازی ارتباطات میان نودها در معماری‌های ترکیبی (Hybrid Parallelism)
• 23. مطالعه موردی و بررسی سناریوهای واقعی بهینه‌سازی ارتباطی در آموزش مدل‌های LLM کلان