ترجمه فارسی مقاله به سوی یک نمایش استاندارد برای الگوریتم های جمعی یادگیری عمیق

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Towards a Standardized Representation for Deep Learning Collective Algorithms
عنوان مقاله به فارسی به سوی یک نمایش استاندارد برای الگوریتم های جمعی یادگیری عمیق
نویسندگان Jinsun Yoo, William Won, Meghan Cowan, Nan Jiang, Benjamin Klenk, Srinivas Sridharan, Tushar Krishna
فرمت مقاله انگلیسی PDF
تعداد صفحات 4
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Distributed, Parallel, and Cluster Computing,محاسبات توزیع شده , موازی و خوشه ای ,
توضیحات Submitted 20 August, 2024; originally announced August 2024.
توضیحات به فارسی 20 اوت 2024 ارسال شد.در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

The explosion of machine learning model size has led to its execution on distributed clusters at a very large scale. Many works have tried to optimize the process of producing collective algorithms and running collective communications, which act as a bottleneck to distributed machine learning. However, different works use their own collective algorithm representation, pushing away from co-optimizing collective communication and the rest of the workload. The lack of a standardized collective algorithm representation has also hindered interoperability between collective algorithm producers and consumers. Additionally, tool-specific conversions and modifications have to be made for each pair of tools producing and consuming collective algorithms which adds to engineering efforts. In this position paper, we propose a standardized workflow leveraging a common collective algorithm representation. Upstream producers and downstream consumers converge to a common representation format based on Chakra Execution Trace, a commonly used graph based representation of distributed machine learning workloads. Such a common representation enables us to view collective communications at the same level as workload operations and decouple producer and consumer tools, enhance interoperability, and relieve the user from the burden of having to focus on downstream implementations. We provide a proof-of-concept of this standardized workflow by simulating collective algorithms generated by the MSCCLang domain-specific language through the ASTRA-sim distributed machine learning simulator using various network configurations.

چکیده به فارسی (ترجمه ماشینی)

انفجار اندازه مدل یادگیری ماشین منجر به اجرای آن در خوشه های توزیع شده در مقیاس بسیار بزرگ شده است.بسیاری از آثار سعی کرده اند فرایند تولید الگوریتم های جمعی و اجرای ارتباطات جمعی را بهینه کنند ، که به عنوان تنگنا برای یادگیری ماشین توزیع شده عمل می کنند.با این حال ، آثار مختلف از بازنمایی الگوریتم جمعی خود استفاده می کنند و از ارتباطات جمعی بهینه سازی و بقیه بار کار دور می شوند.عدم وجود یک الگوریتم جمعی استاندارد همچنین باعث افزایش قابلیت همکاری بین تولید کنندگان الگوریتم جمعی و مصرف کنندگان شده است.علاوه بر این ، برای هر جفت ابزار تولید و مصرف الگوریتم های جمعی که به تلاش های مهندسی می افزاید ، باید تبدیل ها و اصلاحات خاص ابزار ایجاد شود.در این مقاله موقعیت ، ما یک گردش کار استاندارد را پیشنهاد می کنیم که یک الگوریتم جمعی مشترک را نشان می دهد.تولیدکنندگان بالادست و مصرف کنندگان پایین دست به یک قالب بازنمایی مشترک بر اساس ردیابی اعدام چاکرا ، یک نمایشگر معمولاً مبتنی بر نمودار از بارهای یادگیری ماشین توزیع شده همگرا می شوند.چنین بازنمایی مشترک ما را قادر می سازد تا ارتباطات جمعی را در همان سطح عملیات بار کار مشاهده کنیم و ابزارهای تولید کننده و مصرف کننده را دکوراسیون کنیم ، قابلیت همکاری را تقویت کنیم و کاربر را از بار تمرکز بر روی پیاده سازی های پایین دست رهایی دهیم.ما با شبیه سازی الگوریتم های جمعی تولید شده توسط زبان خاص دامنه MSCCLANG از طریق شبیه ساز یادگیری ماشین توزیع شده ASTRA با استفاده از تنظیمات مختلف شبکه ، اثبات این گردش کار استاندارد را ارائه می دهیم.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.