ترجمه فارسی مقاله راه‌حل‌های کارآمد برای یک شکست جذاب LLMها: پنجره‌ی زمینه‌ی طولانی به این معنی نیست که LLMها می‌توانند توالی‌های طولانی را بی‌نقص تجزیه و تحلیل کنند

چکیده

Large Language Models (LLMs) have demonstrated remarkable capabilities in comprehending and analyzing lengthy sequential inputs, owing to their extensive context windows that allow processing millions of tokens in a single forward pass. However, this paper uncovers a surprising limitation: LLMs fall short when handling long input sequences. We investigate this issue using three datasets and two tasks (sentiment analysis and news categorization) across various LLMs, including Claude 3, Gemini Pro, GPT 3.5 Turbo, Llama 3 Instruct, and Mistral Instruct models. To address this limitation, we propose and evaluate ad-hoc solutions that substantially enhance LLMs’ performance on long input sequences by up to 50%, while reducing API cost and latency by up to 93% and 50%, respectively.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) قابلیت های قابل توجهی را در درک و تجزیه و تحلیل ورودی های متوالی طولانی نشان داده اند ، به دلیل ویندوزهای متن گسترده آنها که امکان پردازش میلیون ها نشانه را در یک پاس به جلو می گذارد.با این حال ، این مقاله محدودیت شگفت آور را کشف می کند: LLMS هنگام کار با توالی های ورودی طولانی ، کوتاه می آید.ما این موضوع را با استفاده از سه مجموعه داده و دو کار (تجزیه و تحلیل احساسات و طبقه بندی اخبار) در LLM های مختلف ، از جمله Claude 3 ، Gemini Pro ، GPT 3.5 Turbo ، Llama 3 آموزش و مدلهای آموزش میساط بررسی می کنیم.برای پرداختن به این محدودیت ، ما راه حل های موقت را پیشنهاد می کنیم که عملکرد LLMS را در توالی های ورودی طولانی تا 50 ٪ افزایش می دهد ، در حالی که به ترتیب هزینه API و تأخیر را تا 93 ٪ و 50 ٪ کاهش می دهد.