ترجمه فارسی مقاله استخراج جملات جاسازی شده از مدل های ترانسفورماتور از پیش آموزش دیده

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Extracting Sentence Embeddings from Pretrained Transformer Models
عنوان مقاله به فارسی استخراج جملات جاسازی شده از مدل های ترانسفورماتور از پیش آموزش دیده
نویسندگان Lukas Stankevičius, Mantas Lukoševičius
فرمت مقاله انگلیسی PDF
تعداد صفحات 81
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Information Retrieval,Machine Learning,Machine Learning,محاسبه و زبان , بازیابی اطلاعات , یادگیری ماشین , یادگیری ماشین ,
توضیحات Submitted 15 August, 2024; originally announced August 2024. , MSC Class: 68T07; 68T50; 68T05 ACM Class: I.2.6; I.2.7
توضیحات به فارسی ارسال شده در 15 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد. ، کلاس MSC: 68T07 ؛68T50 ؛کلاس 68T05 ACM: I.2.6 ؛i.2.7
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Background/introduction: Pre-trained transformer models shine in many natural language processing tasks and therefore are expected to bear the representation of the input sentence or text meaning. These sentence-level embeddings are also important in retrieval-augmented generation. But do commonly used plain averaging or prompt templates surface it enough? Methods: Given 110M parameters BERT's hidden representations from multiple layers and multiple tokens we tried various ways to extract optimal sentence representations. We tested various token aggregation and representation post-processing techniques. We also tested multiple ways of using a general Wikitext dataset to complement BERTs sentence representations. All methods were tested on 8 Semantic Textual Similarity (STS), 6 short text clustering, and 12 classification tasks. We also evaluated our representation-shaping techniques on other static models, including random token representations. Results: Proposed representation extraction methods improved the performance on STS and clustering tasks for all models considered. Very high improvements for static token-based models, especially random embeddings for STS tasks almost reach the performance of BERT-derived representations. Conclusions: Our work shows that for multiple tasks simple baselines with representation shaping techniques reach or even outperform more complex BERT-based models or are able to contribute to their performance.

چکیده به فارسی (ترجمه ماشینی)

زمینه/مقدمه: مدل های ترانسفورماتور از قبل آموزش دیده در بسیاری از کارهای پردازش زبان طبیعی می درخشند و بنابراین انتظار می رود که نمایانگر جمله ورودی یا معنی متن باشد.این تعبیه های سطح جمله نیز در نسل بازیابی وجر مهم هستند.اما آیا معمولاً از الگوهای متوسط ​​یا سریع استفاده می شود ، آن را به اندازه کافی سطح می کند؟مواد و روش ها: با توجه به پارامترهای 110 متر بازنمایی های پنهان برت از چندین لایه و نشانه های مختلف ، ما روشهای مختلفی را برای استخراج بازنمایی جمله های بهینه امتحان کردیم.ما تکنیک های مختلف تجمع و بازنمایی پس از پردازش را آزمایش کردیم.ما همچنین چندین روش برای استفاده از یک مجموعه داده عمومی Wikitext را برای تکمیل بازنمایی جمله های Berts آزمایش کردیم.تمام روشها بر روی 8 شباهت متنی معنایی (STS) ، 6 خوشه بندی متن کوتاه و 12 وظیفه طبقه بندی مورد آزمایش قرار گرفتند.ما همچنین تکنیک های شکل گیری نمایندگی خود را در سایر مدلهای استاتیک ، از جمله بازنمایی توکن تصادفی ارزیابی کردیم.یافته ها: روشهای استخراج بازنمایی پیشنهادی باعث بهبود عملکرد در STS و کارهای خوشه بندی برای همه مدل های در نظر گرفته شده است.پیشرفت های بسیار بالایی برای مدل های مبتنی بر نشانه های استاتیک ، به ویژه تعبیه های تصادفی برای کارهای STS تقریباً به عملکرد بازنمایی های مشتق شده از برت می رسد.نتیجه گیری: کار ما نشان می دهد که برای چندین کار پایه های ساده با تکنیک های شکل دهی به نمایندگی از مدلهای پیچیده تر مبتنی بر برت می رسند یا قادر به کمک به عملکرد آنها هستند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.