ترجمه فارسی مقاله ارزیابی مدیریت وابستگی بلندمدت در مدل‌های تولید کد با استفاده از بازیابی کلید چند مرحله‌ای

چکیده

As language models support larger and larger context sizes, evaluating their ability to make effective use of that context becomes increasingly important. We analyze the ability of several code generation models to handle long range dependencies using a suite of multi-step key retrieval tasks in context windows up to 8k tokens in length. The tasks progressively increase in difficulty and allow more nuanced evaluation of model capabilities than tests like the popular needle-in-the-haystack test. We find that performance degrades significantly (up to 2x) when a function references another function that is defined later in the prompt. We also observe that models that use sliding window attention mechanisms have difficulty handling references further than the size of a single window. We perform simple prompt modifications using call graph information to improve multi-step retrieval performance up to 3x. Our analysis highlights different facets of long-context performance and is suggestive of prompt construction strategies for code completion tools

چکیده به فارسی (ترجمه ماشینی)

از آنجا که مدل های زبان از اندازه های زمینه بزرگتر و بزرگتر پشتیبانی می کنند ، ارزیابی توانایی آنها در استفاده مؤثر از آن زمینه به طور فزاینده ای اهمیت پیدا می کند.ما توانایی چندین مدل تولید کد را برای رسیدگی به وابستگی های دوربرد با استفاده از مجموعه ای از کارهای بازیابی چند مرحله ای در ویندوز زمینه تا طول 8K به طول تجزیه و تحلیل می کنیم.وظایف به تدریج در دشواری افزایش می یابد و ارزیابی ظریف تر از قابلیت های مدل را نسبت به تست هایی مانند آزمون محبوب سوزن در Haystack امکان پذیر می کند.ما می دانیم که عملکرد به طور قابل توجهی (حداکثر 2 برابر) تخریب می شود که یک عملکرد به عملکرد دیگری که بعداً در سریع تعریف می شود ، اشاره می کند.ما همچنین مشاهده می کنیم که مدلهایی که از مکانیسم های توجه پنجره کشویی استفاده می کنند ، در استفاده از منابع بیشتر از اندازه یک پنجره واحد مشکل دارند.ما اصلاحات سریع ساده را با استفاده از اطلاعات نمودار تماس برای بهبود عملکرد بازیابی چند مرحله ای تا 3 برابر انجام می دهیم.تجزیه و تحلیل ما جنبه های مختلفی از عملکرد طولانی مدت را برجسته می کند و حاکی از استراتژی های سریع ساخت و ساز برای ابزارهای تکمیل کد است