اکسپرس 24
ترجمه فارسی مقاله یک چارچوب استنتاج کارآمد برای مدل‌های زبانی بزرگ با قابلیت خروج زودهنگام

ترجمه فارسی مقاله یک چارچوب استنتاج کارآمد برای مدل‌های زبانی بزرگ با قابلیت خروج زودهنگام

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی An Efficient Inference Framework for Early-exit Large Language Models
عنوان مقاله به فارسی یک چارچوب استنتاج کارآمد برای مدل‌های زبانی بزرگ با قابلیت خروج زودهنگام
نویسندگان Ruijie Miao, Yihan Yan, Xinshuo Yao, Tong Yang
فرمت مقاله انگلیسی PDF
تعداد صفحات 6
دسته بندی موضوعات Computation and Language,Artificial Intelligence,Machine Learning,محاسبه و زبان , هوش مصنوعی , یادگیری ماشین ,
توضیحات Submitted 25 July, 2024; originally announced July 2024.
توضیحات به فارسی ارسال شده 25 ژوئیه 2024 ؛در ابتدا ژوئیه 2024 اعلام شد.

قیمت: 19,000 تومان

دانلود مقاله اصل انگلیسی + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی، یک خلاصه دو صفحه‌ای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.

قیمت: 99,000 تومان

سفارش + خلاصه دو صفحه ای مقاله + پادکست صوتی فارسی خلاصه مقاله

با انتخاب این گزینه، علاوه بر دریافت مقاله اصلی و ترجمه کامل آن، یک خلاصه دو صفحه‌ای فارسی و پادکست صوتی فارسی خلاصه مقاله را نیز دریافت خواهید کرد.

قیمت: 240,000 تومان

زمان تحویل: 2 تا 3 روز کاری

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Building efficient inference framework has gained increasing interests for research community. Early-exit models, a variant of LLMs, improves the inference efficiency of LLMs by skipping rest layers and directly generate output tokens when they are confident enough. However, there is no work of LLM inference framework that takes early-exit models into consideration. This is non-trivial as prior art on LLM inference cannot be directly applied to early-exit models. In this work, we solves two key challenges in building efficient inference framework for early-exit models: (1) batch inference at iteration-level granularity; and (2) KV cache management. For the former, we propose to process the batch until all sequences surpass the early-exit confidence threshold. For the latter, we propose to fill the KV cache of rest layers before the iteration terminates. Our evaluation shows that, compared with the original vLLM operating at full layers, our solution achieves up to 1.25x speed up.

چکیده به فارسی (ترجمه ماشینی)

چارچوب استنباط کارآمد ساختمان علاقه های فزاینده ای را برای جامعه تحقیقاتی به دست آورده است.مدل های Early-Exit ، نوعی LLMS ، با پرش از لایه های استراحت ، راندمان استنباط LLMS را بهبود می بخشد و به اندازه کافی اعتماد به نفس تولید می کند.با این حال ، هیچ کاری از چارچوب استنتاج LLM وجود ندارد که مدل های اولیه را در نظر بگیرد.این غیر واقعی است زیرا هنر قبلی در استنتاج LLM نمی تواند مستقیماً در مدل های Exit Exit اعمال شود.در این کار ، ما دو چالش اساسی در ایجاد چارچوب استنباط کارآمد برای مدل های اولیه Exit حل می کنیم: (1) استنباط دسته ای در دانه بندی سطح تکرار.و (2) مدیریت حافظه پنهان KV.برای اولی ، ما پیشنهاد می کنیم که گروه را پردازش کنیم تا اینکه همه سکانس ها از آستانه اعتماد به نفس در اوایل پیشی بگیرند.برای دومی ، ما پیشنهاد می کنیم قبل از خاتمه تکرار ، حافظه پنهان KV از لایه های استراحت را پر کنید.ارزیابی ما نشان می دهد که ، در مقایسه با VLLM اصلی که در لایه های کامل کار می کند ، راه حل ما تا سرعت 1.25x به سرعت می رسد.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.