ترجمه فارسی مقاله آموزش ژنتیکی: افزایش مقیاس تولید مصنوعی دستورالعمل‌های کدنویسی برای مدل‌های زبانی بزرگ

چکیده

Large Language Models (LLMs) rely on instruction samples for alignment, but creating these datasets poses challenges, particularly in expert-dependent tasks like coding, which can be cost-prohibitive. One approach to mitigate these challenges is synthesizing data using another LLM. In this paper, we introduce a scalable method for generating synthetic instructions to enhance the code generation capability of LLMs. The proposed algorithm, Genetic-Instruct, mimics evolutionary processes, utilizing self-instruction to create numerous synthetic samples from a limited number of seeds. Genetic-Instruct is designed for efficient scaling of the generation process. Fine-tuning multiple coding LLMs with the synthetic samples demonstrates a significant improvement in their code generation accuracy compared to the baselines.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) برای تراز کردن به نمونه های دستورالعمل متکی هستند ، اما ایجاد این مجموعه داده ها به ویژه در کارهای وابسته به متخصص مانند برنامه نویسی ، چالش هایی را ایجاد می کند ، که می تواند هزینه ای باشد.یک رویکرد برای کاهش این چالش ها ، سنتز داده ها با استفاده از LLM دیگر است.در این مقاله ، ما یک روش مقیاس پذیر برای تولید دستورالعمل های مصنوعی برای تقویت قابلیت تولید کد LLMS معرفی می کنیم.الگوریتم پیشنهادی ، مدرک ژنتیکی ، فرآیندهای تکاملی را تقلید می کند ، با استفاده از خودآزمایی برای ایجاد نمونه های مصنوعی بیشمار از تعداد محدودی از دانه ها.دفاع ژنتیکی برای مقیاس بندی کارآمد فرآیند تولید طراحی شده است.تنظیم دقیق LLM های کدگذاری چندگانه با نمونه های مصنوعی نشان دهنده پیشرفت قابل توجهی در دقت تولید کد آنها در مقایسه با خطوط پایه است.