اکسپرس 24
کتاب پیاده‌سازی Distributed Training برای مدل‌های بزرگ با تمرکز بر مصرف انرژی

کتاب پیاده‌سازی Distributed Training برای مدل‌های بزرگ با تمرکز بر مصرف انرژی

تگ‌ها: AI optimization Distributed Training Energy efficiency Large Language Models آموزش توزیع شده آموزش مدل‌های بزرگ آموزش هوش مصنوعی بهینه‌سازی مصرف انرژی مدل‌های زبانی بزرگ یادگیری عمیق

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 62,488 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

🎓 دوره آموزشی جامع

📚 اطلاعات دوره

عنوان دوره: دوره پیاده‌سازی Distributed Training برای مدل‌های بزرگ با تمرکز بر مصرف انرژی

موضوع کلی: هوش مصنوعی و مدل‌های زبانی بزرگ

موضوع میانی: تکنیک‌های بهینه‌سازی آموزش (Distributed Training, Mixed Precision)

📋 سرفصل‌های دوره

  • 1. مقدمه‌ای بر آموزش توزیع‌شده در یادگیری عمیق
  • 2. مفاهیم اساسی شبکه‌های عصبی بزرگ
  • 3. معماری‌های مدل‌های بزرگ: ترنسفورمرها و موارد مشابه
  • 4. زیرساخت‌های لازم برای آموزش توزیع‌شده
  • 5. فریم‌ورک‌های محبوب آموزش توزیع‌شده: TensorFlow و PyTorch
  • 6. مفهوم موازی‌سازی داده (Data Parallelism)
  • 7. پیاده‌سازی موازی‌سازی داده با استفاده از PyTorch DistributedDataParallel
  • 8. پیاده‌سازی موازی‌سازی داده با استفاده از TensorFlow MirroredStrategy
  • 9. بهینه‌سازی ارتباطات در موازی‌سازی داده
  • 10. مفهوم موازی‌سازی مدل (Model Parallelism)
  • 11. انواع موازی‌سازی مدل: موازی‌سازی لایه‌ای و موازی‌سازی تنوری
  • 12. پیاده‌سازی موازی‌سازی لایه‌ای
  • 13. پیاده‌سازی موازی‌سازی تنوری
  • 14. ترکیب موازی‌سازی داده و مدل (Hybrid Parallelism)
  • 15. مفهوم موازی‌سازی پایپ‌لاین (Pipeline Parallelism)
  • 16. پیاده‌سازی موازی‌سازی پایپ‌لاین
  • 17. بهینه‌سازی پایپ‌لاین برای کاهش تأخیر
  • 18. مفهوم موازی‌سازی تِنسور (Tensor Parallelism)
  • 19. پیاده‌سازی موازی‌سازی تِنسور
  • 20. استفاده از کتابخانه‌های اختصاصی برای موازی‌سازی تِنسور
  • 21. مفهوم Sharding و انواع آن (ZeRO, FSDP)
  • 22. پیاده‌سازی ZeRO Stage 1
  • 23. پیاده‌سازی ZeRO Stage 2
  • 24. پیاده‌سازی ZeRO Stage 3
  • 25. پیاده‌سازی Fully Sharded Data Parallel (FSDP)
  • 26. مدیریت حافظه در آموزش توزیع‌شده
  • 27. تکنیک‌های کاهش مصرف حافظه: Gradient Checkpointing
  • 28. تکنیک‌های کاهش مصرف حافظه: Offloading
  • 29. تکنیک‌های کاهش مصرف حافظه: Mixed Precision Training
  • 30. استفاده از فرمت‌های داده با دقت پایین‌تر (FP16, BF16)
  • 31. مدیریت و بهینه‌سازی مصرف انرژی در آموزش توزیع‌شده
  • 32. شناسایی گلوگاه‌های مصرف انرژی در سخت‌افزار
  • 33. روش‌های کاهش مصرف انرژی در GPUها
  • 34. استفاده از سخت‌افزارهای بهینه‌تر برای مصرف انرژی
  • 35. بهینه‌سازی الگوریتم‌های آموزش برای مصرف انرژی کمتر
  • 36. بررسی تأثیر پارامترهای آموزش بر مصرف انرژی
  • 37. مفهوم مقیاس‌پذیری (Scalability) در آموزش توزیع‌شده
  • 38. معیارهای سنجش مقیاس‌پذیری (Weak vs Strong Scaling)
  • 39. چالش‌های مقیاس‌پذیری در مقیاس‌های بزرگ
  • 40. روش‌های افزایش مقیاس‌پذیری
  • 41. استفاده از سیستم‌های ارکستراسیون (Kubernetes, Slurm)
  • 42. مدیریت و مانیتورینگ کلاستر آموزش توزیع‌شده
  • 43. ابزارهای مانیتورینگ مصرف منابع (CPU, GPU, Network)
  • 44. ابزارهای مانیتورینگ مصرف انرژی
  • 45. ثبات و تحمل‌پذیری خطا (Fault Tolerance) در آموزش توزیع‌شده
  • 46. تکنیک‌های Checkpointing و بازیابی
  • 47. مدیریت خرابی گره‌ها (Node Failures)
  • 48. مدیریت خرابی پردازنده‌ها (Process Failures)
  • 49. اتصال به سیستم‌های ذخیره‌سازی توزیع‌شده (Distributed Storage)
  • 50. استفاده از سیستم‌های ذخیره‌سازی موازی (NFS, Lustre)
  • 51. بهینه‌سازی خواندن و نوشتن داده در آموزش توزیع‌شده
  • 52. شبکه‌بندی (Networking) در آموزش توزیع‌شده
  • 53. اهمیت پهنای باند و تأخیر شبکه
  • 54. تکنیک‌های بهینه‌سازی ارتباطات شبکه (NCCL, Gloo)
  • 55. استفاده از پروتکل‌های شبکه با کارایی بالا
  • 56. تکنیک‌های فشرده‌سازی ارتباطات
  • 57. آموزش مدل‌های زبان بزرگ (LLMs) با رویکرد توزیع‌شده
  • 58. آموزش مدل‌های Vision Transformer (ViT) با رویکرد توزیع‌شده
  • 59. آموزش مدل‌های Graph Neural Networks (GNNs) با رویکرد توزیع‌شده
  • 60. آموزش مدل‌های مولد (Generative Models) با رویکرد توزیع‌شده
  • 61. بهینه‌سازی فرآیند Fine-tuning مدل‌های بزرگ
  • 62. استفاده از تکنیک‌های Parameter-Efficient Fine-Tuning (PEFT)
  • 63. LoRA (Low-Rank Adaptation)
  • 64. Prefix Tuning
  • 65. Prompt Tuning
  • 66. Adapter Tuning
  • 67. آموزش توزیع‌شده با استفاده از تکنیک‌های quantization
  • 68. Quantization-Aware Training
  • 69. Post-Training Quantization
  • 70. مدل‌های سخت‌افزاری و معماری‌های بهینه‌شده برای هوش مصنوعی
  • 71. پردازنده‌های گرافیکی (GPUs) و شتاب‌دهنده‌های اختصاصی (TPUs, NPUs)
  • 72. معماری‌های پردازشی موازی
  • 73. نقش هوش مصنوعی در بهینه‌سازی مصرف انرژی
  • 74. پژوهش‌های پیشرو در زمینه آموزش توزیع‌شده و مصرف انرژی
  • 75. چالش‌های اخلاقی و اجتماعی در آموزش مدل‌های بزرگ
  • 76. ملاحظات امنیتی در آموزش توزیع‌شده
  • 77. ارزیابی کارایی و مصرف انرژی مدل‌های توزیع‌شده
  • 78. طراحی و پیاده‌سازی یک سیستم آموزش توزیع‌شده مقیاس‌پذیر
  • 79. مطالعه موردی: آموزش یک مدل زبان بزرگ در مقیاس پتابایت
  • 80. مطالعه موردی: آموزش یک مدل بینایی ماشین با مصرف انرژی بهینه
  • 81. مدیریت لجستیک و منابع در پروژه‌های آموزش توزیع‌شده
  • 82. استراتژی‌های کاهش هزینه در آموزش توزیع‌شده
  • 83. مستندسازی و اشتراک‌گذاری دانش در تیم‌های آموزش توزیع‌شده
  • 84. آینده آموزش توزیع‌شده و یادگیری عمیق
  • 85. نقش فدرال لرنینگ (Federated Learning) در کنار آموزش توزیع‌شده
  • 86. آموزش توزیع‌شده و تأثیر آن بر توسعه پایدار
  • 87. ملاحظات حقوقی و قانونی در استفاده از داده‌ها در آموزش توزیع‌شده
  • 88. مدیریت چرخه عمر مدل‌های آموزش‌دیده توزیع‌شده
  • 89. استانداردسازی در آموزش توزیع‌شده
  • 90. تکنیک‌های خودکارسازی فرآیند آموزش توزیع‌شده (AutoML)
  • 91. آموزش توزیع‌شده و یادگیری تقویتی (Reinforcement Learning)
  • 92. بهینه‌سازی مصرف انرژی در زمان استنتاج (Inference)
  • 93. مدیریت داده‌های حجیم و توزیع‌شده برای آموزش
  • 94. تکنیک‌های پیش‌پردازش داده در مقیاس توزیع‌شده
  • 95. ارزیابی جامع عملکرد و مصرف انرژی سیستم‌های آموزش توزیع‌شده
  • 96. پیاده‌سازی نرم‌افزارهای سفارشی برای تسریع آموزش توزیع‌شده

📚 محتوای این محصول آموزشی (پکیج کامل)

💡 این محصول یک نسخهٔ کامل و جامع است

تمامی محتوای آموزشی این کتاب در قالب یک بسته‌ی کامل و یکپارچه ارائه می‌شود و شامل تمام نسخه‌ها و فایل‌های موردنیاز برای یادگیری است.

🎁 محتویات کامل بسته دانلودی

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل کتاب‌ها، تمرین‌ها و خودآزمایی .

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود و نسخهٔ چاپی ندارد.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های کتاب همانجا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.