ترجمه فارسی مقاله Multilingual Needle in a Haystack: بررسی رفتار مدل‌های زبانی بزرگ چندزبانه در متن‌های طولانی

چکیده

While recent large language models (LLMs) demonstrate remarkable abilities in responding to queries in diverse languages, their ability to handle long multilingual contexts is unexplored. As such, a systematic evaluation of the long-context capabilities of LLMs in multilingual settings is crucial, specifically in the context of information retrieval. To address this gap, we introduce the MultiLingual Needle-in-a-Haystack (MLNeedle) test, designed to assess a model’s ability to retrieve relevant information (the needle) from a collection of multilingual distractor texts (the haystack). This test serves as an extension of the multilingual question-answering task, encompassing both monolingual and cross-lingual retrieval. We evaluate four state-of-the-art LLMs on MLNeedle. Our findings reveal that model performance can vary significantly with language and needle position. Specifically, we observe that model performance is the lowest when the needle is (i) in a language outside the English language family and (ii) located in the middle of the input context. Furthermore, although some models claim a context size of $8k$ tokens or greater, none demonstrate satisfactory cross-lingual retrieval performance as the context length increases. Our analysis provides key insights into the long-context behavior of LLMs in multilingual settings to guide future evaluation protocols. To our knowledge, this is the first study to investigate the multilingual long-context behavior of LLMs.

چکیده به فارسی (ترجمه ماشینی)

در حالی که مدلهای بزرگ زبان بزرگ (LLMS) توانایی های قابل توجهی را در پاسخ به نمایش داده ها به زبان های متنوع نشان می دهند ، توانایی آنها در رسیدگی به زمینه های چند زبانه طولانی ناشناخته است.به این ترتیب ، ارزیابی سیستماتیک از قابلیت های طولانی مدت LLMS در تنظیمات چند زبانه ، به ویژه در زمینه بازیابی اطلاعات بسیار مهم است.برای پرداختن به این شکاف ، ما تست چند زبانه سوزن سوزن (MLNEEDLE) را معرفی می کنیم ، که برای ارزیابی توانایی یک مدل در بازیابی اطلاعات مربوطه (سوزن) از مجموعه ای از متون پریشانی چند زبانه (یونجه) طراحی شده است.این تست به عنوان گسترش کار پاسخ به سؤال چند زبانه است که شامل بازیابی یک زبانه و متقابل است.ما چهار LLM های پیشرفته را در Mlneedle ارزیابی می کنیم.یافته های ما نشان می دهد که عملکرد مدل می تواند با موقعیت زبان و سوزن متفاوت باشد.به طور خاص ، ما مشاهده می کنیم که عملکرد مدل کمترین زمانی است که سوزن (i) به زبانی خارج از خانواده زبان انگلیسی و (ii) در وسط زمینه ورودی واقع شود.علاوه بر این ، اگرچه برخی از مدلها ادعا می کنند اندازه متن 8K $ $ نشانه ها یا بیشتر هستند ، اما هیچ یک از عملکرد بازیابی متقابل رضایت بخش با افزایش طول زمینه نشان نمی دهند.تجزیه و تحلیل ما بینش کلیدی در مورد رفتار طولانی مدت LLM ها در تنظیمات چند زبانه برای هدایت پروتکل های ارزیابی آینده ارائه می دهد.به دانش ما ، این اولین مطالعه برای بررسی رفتار چند زبانه طولانی مدت LLMS است.