ترجمه فارسی مقاله CodeACT: چارچوب تنظیم تطبیقی ​​کد و محاسبات کارآمد برای دوره‌های LLM کد

چکیده

Large language models (LLMs) have shown great potential in code-related tasks, yet open-source models lag behind their closed-source counterparts. To bridge this performance gap, existing methods generate vast amounts of synthetic data for fine-tuning, leading to inefficiencies in training. Motivated by the need for more effective and efficient training, we propose the Code Adaptive Compute-efficient Tuning (CodeACT) framework. CodeACT introduces the Complexity and Diversity Aware Sampling (CDAS) method to select high-quality training data based on complexity and diversity, and the Dynamic Pack padding strategy to reduce computational resource usage by minimizing padding tokens during training. Experimental results demonstrate that CodeACT-DeepSeek-Coder-6.7B, fine-tuned on only 40% of the EVOL-Instruct data, achieves an 8.6% performance increase on HumanEval, reduces training time by 78%, and decreases peak GPU memory usage by 27%. These findings underscore CodeACT’s ability to enhance the performance and efficiency of open-source models. By optimizing both the data selection and training processes, CodeACT offers a comprehensive approach to improving the capabilities of open-source LLMs while significantly reducing computational requirements, addressing the dual challenges of data quality and training efficiency, and paving the way for more resource-efficient and performant models.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLM) پتانسیل خوبی را در کارهای مرتبط با کد نشان داده اند ، اما مدل های منبع باز از همتایان منبع بسته خود عقب مانده اند.برای ایجاد این شکاف عملکرد ، روشهای موجود مقادیر زیادی از داده های مصنوعی را برای تنظیم دقیق ایجاد می کند و منجر به ناکارآمدی در آموزش می شود.با توجه به نیاز به آموزش مؤثرتر و کارآمدتر ، ما چارچوب تنظیم تنظیم کارآمد محاسبات (CODEACT) Code Adaptive را پیشنهاد می کنیم.Codeact روش نمونه گیری آگاهی از پیچیدگی و تنوع (CDAS) را برای انتخاب داده های آموزش با کیفیت بالا بر اساس پیچیدگی و تنوع و استراتژی پویا بسته بندی بسته برای کاهش مصرف منابع محاسباتی با به حداقل رساندن نشانه های بالشتک در طول آموزش معرفی می کند.نتایج تجربی نشان می دهد که CODEACT-DEEPSEEK-CODER-6.7B ، با تنظیم دقیق تنها 40 ٪ از داده های تحقق یافته ، به افزایش 8.6 ٪ عملکرد در Humaneval ، زمان آموزش را 78 ٪ کاهش می دهد ، و اوج استفاده از حافظه GPU را کاهش می دهد27 ٪این یافته ها توانایی Codeact را در تقویت عملکرد و کارآیی مدلهای منبع باز تأکید می کند.CODEACT با بهینه سازی هر دو فرآیند انتخاب داده و آموزش ، یک رویکرد جامع برای بهبود قابلیت های LLM های منبع باز و ضمن کاهش قابل توجهی نیازهای محاسباتی ، پرداختن به چالش های دوگانه کیفیت داده ها و راندمان آموزش ، و هموار کردن راه را برای کارآمد بیشتر منابع ارائه می دهد.و مدل های اجرا