ترجمه فارسی مقاله ماتریوشکا-آداپتور: تنظیم بدون نظارت و نظارت‌شده برای ابعاد جاسازی کوچک‌تر

چکیده

Embeddings from Large Language Models (LLMs) have emerged as critical components in various applications, particularly for information retrieval. While high-dimensional embeddings generally demonstrate superior performance as they contain more salient information, their practical application is frequently hindered by elevated computational latency and the associated higher cost. To address these challenges, we propose Matryoshka-Adaptor, a novel tuning framework designed for the customization of LLM embeddings. Matryoshka-Adaptor facilitates substantial dimensionality reduction while maintaining comparable performance levels, thereby achieving a significant enhancement in computational efficiency and cost-effectiveness. Our framework directly modifies the embeddings from pre-trained LLMs which is designed to be seamlessly integrated with any LLM architecture, encompassing those accessible exclusively through black-box APIs. Also, it exhibits efficacy in both unsupervised and supervised learning settings. A rigorous evaluation conducted across a diverse corpus of English, multilingual, and multimodal datasets consistently reveals substantial gains with Matryoshka-Adaptor. Notably, with Google and OpenAI Embedding APIs, Matryoshka-Adaptor achieves a reduction in dimensionality ranging from two- to twelve-fold without compromising performance across multiple BEIR datasets.

چکیده به فارسی (ترجمه ماشینی)

تعبیه از مدل های بزرگ زبان (LLMS) به عنوان مؤلفه های مهم در برنامه های مختلف ، به ویژه برای بازیابی اطلاعات ظاهر شده است.در حالی که تعبیهات با ابعاد بالا عموماً عملکرد برتر را نشان می دهد زیرا حاوی اطلاعات برجسته تر است ، کاربرد عملی آنها غالباً با افزایش تأخیر محاسباتی و هزینه بالاتر مرتبط می شود.برای پرداختن به این چالش ها ، ما Matryoshka-Adaptor را پیشنهاد می کنیم ، یک چارچوب تنظیم جدید که برای سفارشی سازی تعبیه LLM طراحی شده است.Matryoshka-adaptor ضمن حفظ سطح عملکرد قابل مقایسه ، کاهش بعد قابل توجهی را تسهیل می کند ، در نتیجه دستیابی به افزایش قابل توجهی در راندمان محاسباتی و مقرون به صرفه بودن.چارچوب ما مستقیماً تعبیه شده از LLM های از قبل آموزش دیده را تغییر می دهد که به گونه ای طراحی شده است که با هر معماری LLM یکپارچه ادغام شود ، و شامل مواردی است که به طور انحصاری از طریق API های جعبه سیاه قابل دسترسی است.همچنین ، در هر دو تنظیمات یادگیری بدون نظارت و تحت نظارت ، اثربخشی دارد.یک ارزیابی دقیق که در میان مجموعه های متنوعی از مجموعه داده های انگلیسی ، چند زبانه و چند حالته انجام شده است ، به طور مداوم دستاوردهای قابل توجهی با Matryoshka-Adaptor را نشان می دهد.نکته قابل توجه ، با توجه به API های Google و OpenAi ، Matryoshka-Adaptor به کاهش ابعاد از دو تا دوازده برابر و بدون به خطر انداختن عملکرد در چندین مجموعه داده Beir دست می یابد.