ترجمه فارسی مقاله MURI: مجموعه داده های تنظیم دستورالعمل با کیفیت بالا برای زبان های کم منبع از طریق دستورالعمل های معکوس

چکیده

Instruction tuning enhances large language models (LLMs) by aligning them with human preferences across diverse tasks. Traditional approaches to create instruction tuning datasets face serious challenges for low-resource languages due to their dependence on data annotation. This work introduces a novel method, Multilingual Reverse Instructions (MURI), which generates high-quality instruction tuning datasets for low-resource languages without requiring human annotators or pre-existing multilingual models. Utilizing reverse instructions and a translation pipeline, MURI produces instruction-output pairs from existing human-written texts in low-resource languages. This method ensures cultural relevance and diversity by sourcing texts from different native domains and applying filters to eliminate inappropriate content. Our dataset, MURI-IT, includes more than 2 million instruction-output pairs across 200 languages. Evaluation by native speakers and fine-tuning experiments with mT5 models demonstrate the approach’s effectiveness for both NLU and open-ended generation. We publicly release datasets and models at https://github.com/akoksal/muri.

چکیده به فارسی (ترجمه ماشینی)

تنظیم دستورالعمل با تراز کردن آنها با ترجیحات انسانی در کارهای مختلف ، مدل های بزرگ زبان (LLM) را تقویت می کند.رویکردهای سنتی برای ایجاد مجموعه داده های تنظیم دستورالعمل به دلیل وابستگی به حاشیه نویسی داده ها ، برای زبانهای کم منبع با چالش های جدی روبرو هستند.این اثر یک روش جدید ، دستورالعمل های معکوس چند زبانه (MURI) را معرفی می کند ، که مجموعه داده های تنظیم دستورالعمل با کیفیت بالا را برای زبانهای کم منبع تولید می کند بدون اینکه نیاز به حاشیه نویسی های انسانی یا مدل های چند زبانه از قبل موجود داشته باشد.با استفاده از دستورالعمل های معکوس و خط لوله ترجمه ، MURI جفت های آموزشی را از متون موجود در انسان به زبانهای کم منبع تولید می کند.این روش با تهیه منابع متون از حوزه های مختلف بومی و استفاده از فیلترها برای از بین بردن محتوای نامناسب ، ارتباط و تنوع فرهنگی را تضمین می کند.مجموعه داده های ما ، Muri-IT ، شامل بیش از 2 میلیون جفت دستورالعمل خروجی در 200 زبان است.ارزیابی توسط سخنرانان بومی و آزمایش های تنظیم دقیق با مدل های MT5 نشان دهنده اثربخشی رویکرد برای NLU و نسل باز است.ما مجموعه داده ها و مدل ها را به صورت عمومی در https://github.com/akoksal/muri منتشر می کنیم.