اکسپرس 24
کتاب بررسی عمیق تکنیک‌های Distributed Training و Mixed Precision Training

کتاب بررسی عمیق تکنیک‌های Distributed Training و Mixed Precision Training

تگ‌ها: BF16 Data Parallelism Deep Learning Optimization Distributed Training FP16 GPU Training Large Language Models LLM Mixed Precision Training Model Parallelism PyTorch TensorFlow آموزش توزیع‌شده بهینه‌سازی آموزش موازی‌سازی

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 62,488 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره بررسی عمیق تکنیک‌های Distributed Training و Mixed Precision Training

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

  • 1. مقدمه‌ای بر بهینه‌سازی آموزش مدل‌های بزرگ
  • 2. چالش‌های آموزش مدل‌های زبانی بزرگ
  • 3. معرفی Distributed Training و Mixed Precision Training
  • 4. اهمیت Distributed Training برای مدل‌های بزرگ
  • 5. اهمیت Mixed Precision Training برای کاهش هزینه و زمان آموزش
  • 6. بررسی زیرساخت‌های Distributed Training
  • 7. انواع موازی‌سازی در Distributed Training (Data Parallelism, Model Parallelism, Pipeline Parallelism)
  • 8. Data Parallelism: مفاهیم و پیاده‌سازی
  • 9. Model Parallelism: مفاهیم و پیاده‌سازی
  • 10. Pipeline Parallelism: مفاهیم و پیاده‌سازی
  • 11. استراتژی‌های ترکیب موازی‌سازی (Hybrid Parallelism)
  • 12. چارچوب‌های Distributed Training: PyTorch DistributedDataParallel (DDP)
  • 13. چارچوب‌های Distributed Training: TensorFlow Distributed Strategies
  • 14. چارچوب‌های Distributed Training: Horovod
  • 15. ارتباطات جمعی (Collective Communications) در Distributed Training
  • 16. بهینه‌سازی ارتباطات در Distributed Training (Gradient Compression, Ring Allreduce)
  • 17. Mixed Precision Training: مفاهیم پایه‌ای
  • 18. انواع داده‌های ممیز شناور (Floating-Point Data Types)
  • 19. FP16، BF16 و FP32: مقایسه و کاربردها
  • 20. مزایا و معایب استفاده از Mixed Precision Training
  • 21. Loss Scaling در Mixed Precision Training
  • 22. روش‌های جلوگیری از Overflow و Underflow در Mixed Precision Training
  • 23. پیاده‌سازی Mixed Precision Training در PyTorch
  • 24. پیاده‌سازی Mixed Precision Training در TensorFlow
  • 25. ترکیب Distributed Training و Mixed Precision Training
  • 26. بهترین شیوه‌ها برای ترکیب Distributed Training و Mixed Precision Training
  • 27. نظارت و ارزیابی عملکرد Distributed Training
  • 28. نظارت و ارزیابی عملکرد Mixed Precision Training
  • 29. عیب‌یابی مشکلات رایج در Distributed Training
  • 30. عیب‌یابی مشکلات رایج در Mixed Precision Training
  • 31. بهینه‌سازی حافظه در Distributed Training و Mixed Precision Training
  • 32. استفاده از Offloading برای کاهش مصرف حافظه
  • 33. بهینه‌سازی Batch Size در Distributed Training
  • 34. تاثیر Learning Rate Scaling در Mixed Precision Training
  • 35. روش‌های پیشرفته Distributed Training: Sharded Data Parallelism
  • 36. روش‌های پیشرفته Distributed Training: Fully Sharded Data Parallelism (FSDP)
  • 37. روش‌های پیشرفته Mixed Precision Training: Automatic Mixed Precision (AMP)
  • 38. مقایسه و ارزیابی روش‌های مختلف Distributed Training
  • 39. مقایسه و ارزیابی روش‌های مختلف Mixed Precision Training
  • 40. مطالعه موردی: بهینه‌سازی آموزش یک مدل زبانی بزرگ با Distributed Training و Mixed Precision Training
  • 41. آینده Distributed Training و Mixed Precision Training

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.