Distributed, Parallel, and Cluster Computing,Artificial Intelligence,Machine Learning,محاسبات توزیع شده , موازی و خوشه ای , هوش مصنوعی , یادگیری ماشین
توضیحات
Submitted 9 September, 2024; v1 submitted 6 September, 2024; originally announced September 2024. , Comments: Accepted by the 42nd IEEE International Conference on Computer Design (ICCD 2024)
توضیحات به فارسی
ارسال شده در 9 سپتامبر 2024 ؛V1 ارسال شده در 6 سپتامبر 2024 ؛در ابتدا در سپتامبر 2024 اعلام شد ، نظرات: پذیرفته شده توسط 42 کنفرانس بین المللی IEEE در زمینه طراحی رایانه (ICCD 2024)
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
The application of Transformer-based large models has achieved numerous success in recent years. However, the exponential growth in the parameters of large models introduces formidable memory challenge for edge deployment. Prior works to address this challenge mainly focus on optimizing the model structure and adopting memory swapping methods. However, the former reduces the inference accuracy, and the latter raises the inference latency. This paper introduces PIPELOAD, a novel memory-efficient pipeline execution mechanism. It reduces memory usage by incorporating dynamic memory management and minimizes inference latency by employing parallel model loading. Based on PIPELOAD mechanism, we present Hermes, a framework optimized for large model inference on edge devices. We evaluate Hermes on Transformer-based models of different sizes. Our experiments illustrate that Hermes achieves up to 4.24 X increase in inference speed and 86.7% lower memory consumption than the state-of-the-art pipeline mechanism for BERT and ViT models, 2.58 X increase in inference speed and 90.3% lower memory consumption for GPT-style models.
چکیده به فارسی (ترجمه ماشینی)
کاربرد مدلهای بزرگ مبتنی بر ترانسفورماتور در سالهای اخیر به موفقیت های بی شماری رسیده است.با این حال ، رشد نمایی در پارامترهای مدل های بزرگ چالش حافظه قابل توجهی را برای استقرار لبه معرفی می کند.کارهای قبلی برای پرداختن به این چالش عمدتاً بر بهینه سازی ساختار مدل و اتخاذ روشهای مبادله حافظه متمرکز است.با این حال ، اولی دقت استنباط را کاهش می دهد و دومی تأخیر استنباط را افزایش می دهد.در این مقاله Pipeload ، مکانیسم اجرای خط لوله کارآمد با حافظه جدید ارائه شده است.این میزان مصرف حافظه را با ترکیب مدیریت حافظه پویا کاهش می دهد و با استفاده از بارگذاری مدل موازی ، تأخیر استنباط را به حداقل می رساند.بر اساس مکانیسم Pipeload ، ما هرمس را ارائه می دهیم ، چارچوبی که برای استنتاج مدل بزرگ در دستگاه های لبه بهینه شده است.ما هرمس را در مدل های مبتنی بر ترانسفورماتور در اندازه های مختلف ارزیابی می کنیم.آزمایشات ما نشان می دهد که هرمس تا 4.24 x افزایش سرعت استنباط و 86.7 ٪ مصرف حافظه پایین تر از مکانیسم خط لوله پیشرفته برای مدل های برت و VIT ، 2.58 x افزایش سرعت استنتاج و 90.3 ٪ مصرف حافظه پایین تر برایمدل های سبک GPT.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
