ترجمه فارسی مقاله فشرده سازی سریع با رمزگذاری جملات آگاه از زمینه برای استنتاج سریع و بهبود یافته LLM

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Prompt Compression with Context-Aware Sentence Encoding for Fast and Improved LLM Inference
عنوان مقاله به فارسی فشرده سازی سریع با رمزگذاری جملات آگاه از زمینه برای استنتاج سریع و بهبود یافته LLM
نویسندگان Barys Liskavets, Maxim Ushakov, Shuvendu Roy, Mark Klibanov, Ali Etemad, Shane Luke
فرمت مقاله انگلیسی PDF
تعداد صفحات 9
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Machine Learning,محاسبه و زبان , یادگیری ماشین ,
توضیحات Submitted 4 September, 2024; v1 submitted 2 September, 2024; originally announced September 2024.
توضیحات به فارسی ارسال شده در 4 سپتامبر 2024 ؛V1 ارسال شده در 2 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Large language models (LLMs) have triggered a new stream of research focusing on compressing the context length to reduce the computational cost while ensuring the retention of helpful information for LLMs to answer the given question. Token-based removal methods are one of the most prominent approaches in this direction, but risk losing the semantics of the context caused by intermediate token removal, especially under high compression ratios, while also facing challenges in computational efficiency. In this work, we propose context-aware prompt compression (CPC), a sentence-level prompt compression technique where its key innovation is a novel context-aware sentence encoder that provides a relevance score for each sentence for a given question. To train this encoder, we generate a new dataset consisting of questions, positives, and negative pairs where positives are sentences relevant to the question, while negatives are irrelevant context sentences. We train the encoder in a contrastive setup to learn context-aware sentence representations. Our method considerably outperforms prior works on prompt compression on benchmark datasets and is up to 10.93x faster at inference compared to the best token-level compression method. We also find better improvement for shorter length constraints in most benchmarks, showing the effectiveness of our proposed solution in the compression of relevant information in a shorter context. Finally, we release the code and the dataset for quick reproducibility and further development: https://github.com/Workday/cpc.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) باعث شده است که جریان جدیدی از تحقیقات با تمرکز بر فشرده سازی طول زمینه برای کاهش هزینه محاسباتی و در عین حال اطمینان از حفظ اطلاعات مفید برای LLM ها برای پاسخ به سؤال داده شده.روشهای حذف مبتنی بر توکن یکی از برجسته ترین رویکردها در این جهت است ، اما خطر از دست دادن معناشناسی زمینه ناشی از حذف توکن میانی ، به ویژه در نسبت فشرده سازی بالا ، در عین حال با چالش هایی در کارآیی محاسباتی روبرو است.در این کار ، ما پیشنهاد فشرده سازی سریع آگاه (CPC) ، یک تکنیک فشرده سازی سریع در سطح جمله را پیشنهاد می کنیم که در آن نوآوری کلیدی آن یک رمزگذار جمله ای جدید است که برای هر یک از جمله ها نمره ارتباطی را برای هر جمله فراهم می کند.برای آموزش این رمزگذار ، ما یک مجموعه داده جدید متشکل از سؤالات ، مثبت ها و جفت های منفی ایجاد می کنیم که در آن مثبت جملات مربوط به این سوال هستند ، در حالی که منفی ها جملات زمینه ای بی ربط هستند.ما رمزگذار را در یک مجموعه متضاد آموزش می دهیم تا بازنمایی های جمله آگاه از متن را بیاموزیم.روش ما به طور قابل توجهی بهتر از کار در فشرده سازی سریع در مجموعه داده های معیار است و در مقایسه با بهترین روش فشرده سازی سطح توکن ، تا 10.93 برابر سریعتر است.ما همچنین برای محدودیت های طول کوتاه تر در اکثر معیارها بهبود بهتری پیدا می کنیم ، که نشان دهنده اثربخشی راه حل پیشنهادی ما در فشرده سازی اطلاعات مربوطه در یک زمینه کوتاه تر است.سرانجام ، ما کد و مجموعه داده را برای تکرار سریع و توسعه بیشتر منتشر می کنیم: https://github.com/workday/cpc.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.