کتاب صوتی بررسی عمیق تکنیک‌های Distributed Training و Mixed Precision Training

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بررسی عمیق تکنیک‌های Distributed Training و Mixed Precision Training

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مقدمه‌ای بر بهینه‌سازی آموزش مدل‌های بزرگ
• 2. چالش‌های آموزش مدل‌های زبانی بزرگ
• 3. معرفی Distributed Training و Mixed Precision Training
• 4. اهمیت Distributed Training برای مدل‌های بزرگ
• 5. اهمیت Mixed Precision Training برای کاهش هزینه و زمان آموزش
• 6. بررسی زیرساخت‌های Distributed Training
• 7. انواع موازی‌سازی در Distributed Training (Data Parallelism, Model Parallelism, Pipeline Parallelism)
• 8. Data Parallelism: مفاهیم و پیاده‌سازی
• 9. Model Parallelism: مفاهیم و پیاده‌سازی
• 10. Pipeline Parallelism: مفاهیم و پیاده‌سازی
• 11. استراتژی‌های ترکیب موازی‌سازی (Hybrid Parallelism)
• 12. چارچوب‌های Distributed Training: PyTorch DistributedDataParallel (DDP)
• 13. چارچوب‌های Distributed Training: TensorFlow Distributed Strategies
• 14. چارچوب‌های Distributed Training: Horovod
• 15. ارتباطات جمعی (Collective Communications) در Distributed Training
• 16. بهینه‌سازی ارتباطات در Distributed Training (Gradient Compression, Ring Allreduce)
• 17. Mixed Precision Training: مفاهیم پایه‌ای
• 18. انواع داده‌های ممیز شناور (Floating-Point Data Types)
• 19. FP16، BF16 و FP32: مقایسه و کاربردها
• 20. مزایا و معایب استفاده از Mixed Precision Training
• 21. Loss Scaling در Mixed Precision Training
• 22. روش‌های جلوگیری از Overflow و Underflow در Mixed Precision Training
• 23. پیاده‌سازی Mixed Precision Training در PyTorch
• 24. پیاده‌سازی Mixed Precision Training در TensorFlow
• 25. ترکیب Distributed Training و Mixed Precision Training
• 26. بهترین شیوه‌ها برای ترکیب Distributed Training و Mixed Precision Training
• 27. نظارت و ارزیابی عملکرد Distributed Training
• 28. نظارت و ارزیابی عملکرد Mixed Precision Training
• 29. عیب‌یابی مشکلات رایج در Distributed Training
• 30. عیب‌یابی مشکلات رایج در Mixed Precision Training
• 31. بهینه‌سازی حافظه در Distributed Training و Mixed Precision Training
• 32. استفاده از Offloading برای کاهش مصرف حافظه
• 33. بهینه‌سازی Batch Size در Distributed Training
• 34. تاثیر Learning Rate Scaling در Mixed Precision Training
• 35. روش‌های پیشرفته Distributed Training: Sharded Data Parallelism
• 36. روش‌های پیشرفته Distributed Training: Fully Sharded Data Parallelism (FSDP)
• 37. روش‌های پیشرفته Mixed Precision Training: Automatic Mixed Precision (AMP)
• 38. مقایسه و ارزیابی روش‌های مختلف Distributed Training
• 39. مقایسه و ارزیابی روش‌های مختلف Mixed Precision Training
• 40. مطالعه موردی: بهینه‌سازی آموزش یک مدل زبانی بزرگ با Distributed Training و Mixed Precision Training
• 41. آینده Distributed Training و Mixed Precision Training