اکسپرس 24
ترجمه فارسی مقاله نقطه بازرسی متخصصان جزئی: تحمل خطای کارآمد برای آموزش مدل ترکیبی پراکنده از متخصصان

ترجمه فارسی مقاله نقطه بازرسی متخصصان جزئی: تحمل خطای کارآمد برای آموزش مدل ترکیبی پراکنده از متخصصان

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Partial Experts Checkpoint: Efficient Fault Tolerance for Sparse Mixture-of-Experts Model Training
عنوان مقاله به فارسی نقطه بازرسی متخصصان جزئی: تحمل خطای کارآمد برای آموزش مدل ترکیبی پراکنده از متخصصان
نویسندگان Weilin Cai, Le Qin, Jiayi Huang
فرمت مقاله انگلیسی PDF
تعداد صفحات 14
دسته بندی موضوعات Distributed, Parallel, and Cluster Computing,Machine Learning,محاسبات توزیع شده , موازی و خوشه ای , یادگیری ماشین ,
توضیحات Submitted 8 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 8 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.

قیمت: 19,000 تومان

سفارش

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی، را نیز سفارش می‌دهید.

قیمت: 560,000 تومان

زمان تحویل: 2 تا 3 روز کاری

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

As large language models continue to scale up, the imperative for fault tolerance in distributed deep learning systems intensifies, becoming a focal area of AI infrastructure research. Checkpoint has emerged as the predominant fault tolerance strategy, with extensive studies dedicated to optimizing its efficiency. However, the advent of the sparse Mixture-of-Experts (MoE) model presents new challenges for traditional checkpoint techniques due to the substantial increase in model size, despite comparable computational demands to dense models. Breaking new ground in the realm of efficient fault tolerance for MoE model training, we introduce a novel Partial Experts Checkpoint (PEC) mechanism alongside a corresponding PEC fault-tolerant system. Our approach strategically checkpoints a selected subset of experts, thereby significantly reducing the checkpoint size for MoE models to a level comparable with that of dense models. The empirical analysis on our 8-expert GPT-MoE model demonstrates that the proposed PEC approach facilitates a substantial 54.2% decrease in the size of non-redundant checkpoint (no data-parallel duplication), without compromising the final model quality. Moreover, our PEC fault-tolerant system achieves a 76.9% reduction in checkpoint workload per data-parallel distributed rank, thereby correspondingly diminishing the checkpointing time and facilitating complete overlap with the training process.

چکیده به فارسی (ترجمه ماشینی)

از آنجا که مدلهای بزرگ زبان همچنان به مقیاس خود ادامه می دهند ، ضرورت تحمل گسل در سیستم های یادگیری عمیق توزیع شده شدت می یابد و به یک منطقه کانونی تحقیقات زیرساخت های هوش مصنوعی تبدیل می شود.پاسگاه به عنوان استراتژی تحمل گسل غالب ، با مطالعات گسترده ای برای بهینه سازی کارآیی آن اختصاص یافته است.با این حال ، با وجود تقاضای محاسباتی قابل مقایسه با مدل های متراکم ، ظهور مدل پراکنده مخلوط کنفرانس (MOE) چالش های جدیدی را برای تکنیک های سنتی بازرسی به دلیل افزایش قابل توجه در اندازه مدل ارائه می دهد.با شکستن زمینه جدید در حوزه تحمل گسل کارآمد برای آموزش مدل MOE ، ما یک مکانیسم بازرسی کارشناسان جزئی جدید (PEC) را در کنار یک سیستم تحمل گسل PEC مربوطه معرفی می کنیم.رویکرد ما از لحاظ استراتژیک زیر مجموعه ای از متخصصان را بازرسی می کند ، در نتیجه اندازه بازرسی را برای مدل های MOE به میزان قابل توجهی با سطح قابل مقایسه با مدل های متراکم کاهش می دهد.تجزیه و تحلیل تجربی در مدل 8-Expert GPT-MOE ما نشان می دهد که رویکرد PEC پیشنهادی کاهش قابل توجهی 54.2 ٪ در اندازه پاسگاه غیرقانونی (بدون تکثیر داده موازی داده) را تسهیل می کند ، بدون اینکه کیفیت مدل نهایی را به خطر بیاندازد.علاوه بر این ، سیستم تحمل گسل PEC ما به کاهش 76.9 ٪ در بار بازرسی در هر رتبه توزیع شده به موازی داده می شود ، از این طریق به همین ترتیب زمان بازرسی را کاهش می دهد و همپوشانی کامل با روند آموزش را تسهیل می کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.