ترجمه فارسی مقاله استخراج جملات جاسازی شده از مدل های ترانسفورماتور از پیش آموزش دیده

چکیده

Background/introduction: Pre-trained transformer models shine in many natural language processing tasks and therefore are expected to bear the representation of the input sentence or text meaning. These sentence-level embeddings are also important in retrieval-augmented generation. But do commonly used plain averaging or prompt templates surface it enough? Methods: Given 110M parameters BERT’s hidden representations from multiple layers and multiple tokens we tried various ways to extract optimal sentence representations. We tested various token aggregation and representation post-processing techniques. We also tested multiple ways of using a general Wikitext dataset to complement BERTs sentence representations. All methods were tested on 8 Semantic Textual Similarity (STS), 6 short text clustering, and 12 classification tasks. We also evaluated our representation-shaping techniques on other static models, including random token representations. Results: Proposed representation extraction methods improved the performance on STS and clustering tasks for all models considered. Very high improvements for static token-based models, especially random embeddings for STS tasks almost reach the performance of BERT-derived representations. Conclusions: Our work shows that for multiple tasks simple baselines with representation shaping techniques reach or even outperform more complex BERT-based models or are able to contribute to their performance.

چکیده به فارسی (ترجمه ماشینی)

زمینه/مقدمه: مدل های ترانسفورماتور از قبل آموزش دیده در بسیاری از کارهای پردازش زبان طبیعی می درخشند و بنابراین انتظار می رود که نمایانگر جمله ورودی یا معنی متن باشد.این تعبیه های سطح جمله نیز در نسل بازیابی وجر مهم هستند.اما آیا معمولاً از الگوهای متوسط ​​یا سریع استفاده می شود ، آن را به اندازه کافی سطح می کند؟مواد و روش ها: با توجه به پارامترهای 110 متر بازنمایی های پنهان برت از چندین لایه و نشانه های مختلف ، ما روشهای مختلفی را برای استخراج بازنمایی جمله های بهینه امتحان کردیم.ما تکنیک های مختلف تجمع و بازنمایی پس از پردازش را آزمایش کردیم.ما همچنین چندین روش برای استفاده از یک مجموعه داده عمومی Wikitext را برای تکمیل بازنمایی جمله های Berts آزمایش کردیم.تمام روشها بر روی 8 شباهت متنی معنایی (STS) ، 6 خوشه بندی متن کوتاه و 12 وظیفه طبقه بندی مورد آزمایش قرار گرفتند.ما همچنین تکنیک های شکل گیری نمایندگی خود را در سایر مدلهای استاتیک ، از جمله بازنمایی توکن تصادفی ارزیابی کردیم.یافته ها: روشهای استخراج بازنمایی پیشنهادی باعث بهبود عملکرد در STS و کارهای خوشه بندی برای همه مدل های در نظر گرفته شده است.پیشرفت های بسیار بالایی برای مدل های مبتنی بر نشانه های استاتیک ، به ویژه تعبیه های تصادفی برای کارهای STS تقریباً به عملکرد بازنمایی های مشتق شده از برت می رسد.نتیجه گیری: کار ما نشان می دهد که برای چندین کار پایه های ساده با تکنیک های شکل دهی به نمایندگی از مدلهای پیچیده تر مبتنی بر برت می رسند یا قادر به کمک به عملکرد آنها هستند.