ترجمه فارسی مقاله روش‌های آموزشی کارآمد با استفاده از پارامتر برای طبقه‌بندی متن با منابع کم: مطالعه موردی در زبان مراتی

چکیده

With the surge in digital content in low-resource languages, there is an escalating demand for advanced Natural Language Processing (NLP) techniques tailored to these languages. BERT (Bidirectional Encoder Representations from Transformers), serving as the foundational framework for numerous NLP architectures and language models, is increasingly employed for the development of low-resource NLP models. Parameter Efficient Fine-Tuning (PEFT) is a method for fine-tuning Large Language Models (LLMs) and reducing the training parameters to some extent to decrease the computational costs needed for training the model and achieve results comparable to a fully fine-tuned model. In this work, we present a study of PEFT methods for the Indic low-resource language Marathi. We conduct a comprehensive analysis of PEFT methods applied to various monolingual and multilingual Marathi BERT models. These approaches are evaluated on prominent text classification datasets like MahaSent, MahaHate, and MahaNews. The incorporation of PEFT techniques is demonstrated to significantly expedite the training speed of the models, addressing a critical aspect of model development and deployment. In this study, we explore Low-Rank Adaptation of Large Language Models (LoRA) and adapter methods for low-resource text classification. We show that these methods are competitive with full fine-tuning and can be used without loss in accuracy. This study contributes valuable insights into the effectiveness of Marathi BERT models, offering a foundation for the continued advancement of NLP capabilities in Marathi and similar Indic languages.

چکیده به فارسی (ترجمه ماشینی)

با افزایش محتوای دیجیتالی به زبانهای کم منبع ، تقاضای تشدید کننده ای برای تکنیک های پیشرفته پردازش زبان طبیعی (NLP) متناسب با این زبان ها وجود دارد.برت (بازنمایی رمزگذار دو طرفه از ترانسفورماتورها) ، که به عنوان چارچوب اساسی برای معماری های بی شماری NLP و مدل های زبان خدمت می کند ، به طور فزاینده ای برای توسعه مدلهای NLP کم منبع استفاده می شود.تنظیم دقیق پارامتر (PEFT) روشی برای تنظیم دقیق مدل های بزرگ زبان (LLM) و کاهش پارامترهای آموزش تا حدی برای کاهش هزینه های محاسباتی مورد نیاز برای آموزش مدل و دستیابی به نتایج قابل مقایسه با یک مدل کاملاً خوب استبشردر این کار ، ما یک مطالعه از روش های PEFT را برای مراتی با منابع کم منبع نشان می دهیم.ما یک تجزیه و تحلیل جامع از روش های PEFT که برای مدل های مختلف یک زبانه و چند زبانه Marathi Bert استفاده می شود ، انجام می دهیم.این رویکردها در مجموعه داده های طبقه بندی متن برجسته مانند Mahasent ، Mahahate و Mahanews ارزیابی می شوند.ترکیب تکنیک های PEFT نشان داده شده است که به طور قابل توجهی سرعت آموزش مدل ها را تسریع می کند و به یک جنبه مهم توسعه و استقرار مدل می پردازد.در این مطالعه ، ما تطبیق کم درجه از مدلهای بزرگ زبان (LORA) و روشهای آداپتور را برای طبقه بندی متن با منبع کم بررسی می کنیم.ما نشان می دهیم که این روش ها با تنظیم کامل کامل رقابت می کنند و می توان بدون از دست دادن در دقت استفاده کرد.این مطالعه به بینش های ارزشمندی در مورد اثربخشی مدل های Marathi Bert کمک می کند و پایه و اساس پیشرفت مداوم قابلیت های NLP در ماراتی و زبانهای شاخص مشابه را ارائه می دهد.