فلش‌کارت‌های آموزشی بهینه‌سازی هایپرپارامترها برای Mixed Precision Training

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بهینه‌سازی هایپرپارامترها برای Mixed Precision Training

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

• 1. مفاهیم پایه Mixed Precision Training و نمایش اعداد در قالب‌های FP32، FP16 و BF16
• 2. بررسی دامنه عددی (Dynamic Range) و چالش‌های Underflow و Overflow در محاسبات دقت پایین
• 3. مکانیزم Loss Scaling و نقش آن در حفظ گرادیان‌های کوچک در آموزش FP16
• 4. تفاوت‌های کلیدی بین قالب‌های عددی FP16 و BF16 و تاثیر آن‌ها بر پایداری آموزش
• 5. بررسی نقش و عملکرد Master Weights در الگوریتم‌های بهینه‌سازی FP16
• 6. نرخ یادگیری (Learning Rate) و نحوه تنظیم آن برای آموزش با دقت ترکیبی
• 7. روش‌های Warmup و انطباق نرخ یادگیری در شروع آموزش Mixed Precision
• 8. تنظیم نرخ یادگیری بر اساس اندازه‌های مختلف Batch Size در آموزش دقت ترکیبی
• 9. تاثیر الگوریتم‌های بهینه‌ساز (Adam, AdamW, Lion, SGD) بر پایداری عددی Mixed Precision
• 10. هایپرپارامترهای بهینه‌ساز Adam (مانند Beta1، Beta2 و Epsilon) در آموزش FP16 و BF16
• 11. مقداردهی اولیه وزن‌ها (Weight Initialization) و تاثیر آن در جلوگیری از سرریز عددی
• 12. تنظیم مقادیر Loss Scale استاتیک در مقابل Dynamic Loss Scaling
• 13. تنظیم هایپرپارامترهای Dynamic Loss Scaling (نرخ رشد scale_factor و پنجره به‌روزرسانی)
• 14. روش‌های Clipping گرادیان (Norm Clipping و Value Clipping) و تنطیم آستانه آستانه‌گذاری
• 15. تنظیم Weight Decay و L2 Regularization در محیط‌های Mixed Precision
• 16. تنظیم اندازه Batch Size جهت حداکثر بهره‌وری از هسته‌های Tensor Cores در کارت‌های گرافیک
• 17. هایپرپارامترهای مرتبط با Precision در لایه‌های مختلف مدل (Mixed Precision لایه‌ای)
• 18. تنظیم هایپرپارامترهای انباشت گرادیان (Gradient Accumulation) همراه با Mixed Precision
• 19. مدیریت پایداری عددی در توابع فعال‌ساز (Activation Functions) حساس مانند GELU و Softmax
• 20. تنظیم هایپرپارامترهای تثبیت لایه‌ها (Layer Normalization و RMSNorm) در Precision پایین
• 21. تنظیم هایپرپارامترهای بهینه‌سازی هایپرپارامتر (Hyperparameter Search) مانند Optuna و Ray Tune برای Mixed Precision
• 22. استراتژی‌های جستجوی گرید (Grid Search) و تصادفی (Random Search) در فضای هایپرپارامترهای دقت ترکیبی
• 23. استفاده از بهینه‌سازی بایزین (Bayesian Optimization) برای یافتن هایپرپارامترهای پایدار
• 24. تنظیم هایپرپارامترهای مربوط به DeepSpeed ZeRO همراه با Mixed Precision
• 25. تنظیم هایپرپارامترهای Megatron-LM در آموزش توزیع‌شده با دقت ترکیبی
• 26. شناسایی و عیب‌یابی انحراف‌های عددی (Numerical Instability) و NaN Loss در طول آموزش
• 27. استراتژی‌های بازیابی خودکار و تنظیم مجدد Loss Scale هنگام مواجهه با Overflow
• 28. پایش و لاگ‌گیری هایپرپارامترها و خطاهای عددی با استفاده از TensorBoard و Weights & Biases
• 29. تست‌های صحه‌گذاری و مقایسه عملکرد (Benchmarking) سرعت و دقت مدل پس از تنظیم هایپرپارامترها