ترجمه فارسی مقاله استفاده از مدل‌های زبان بزرگ منبع باز برای شناسایی زبان مادری

چکیده

Native Language Identification (NLI) – the task of identifying the native language (L1) of a person based on their writing in the second language (L2) – has applications in forensics, marketing, and second language acquisition. Historically, conventional machine learning approaches that heavily rely on extensive feature engineering have outperformed transformer-based language models on this task. Recently, closed-source generative large language models (LLMs), e.g., GPT-4, have demonstrated remarkable performance on NLI in a zero-shot setting, including promising results in open-set classification. However, closed-source LLMs have many disadvantages, such as high costs and undisclosed nature of training data. This study explores the potential of using open-source LLMs for NLI. Our results indicate that open-source LLMs do not reach the accuracy levels of closed-source LLMs when used out-of-the-box. However, when fine-tuned on labeled training data, open-source LLMs can achieve performance comparable to that of commercial LLMs.

چکیده به فارسی (ترجمه ماشینی)

شناسایی زبان بومی (NLI) – وظیفه شناسایی زبان مادری (L1) شخص مبتنی بر نوشتن آنها به زبان دوم (L2) – دارای برنامه هایی در پزشکی قانونی ، بازاریابی و کسب زبان دوم است.از نظر تاریخی ، رویکردهای یادگیری ماشین معمولی که به شدت به مهندسی ویژگی های گسترده متکی هستند ، از مدل های زبان مبتنی بر ترانسفورماتور در این کار بهتر عمل کرده اند.به تازگی ، مدل های بزرگ زبان مولد منبع بسته (LLMS) ، به عنوان مثال ، GPT-4 ، عملکرد قابل توجهی را در NLI در یک تنظیم صفر نشان داده اند ، از جمله نتایج امیدوارکننده در طبقه بندی مجموعه باز.با این حال ، LLM های منبع بسته دارای معایب بسیاری هستند ، مانند هزینه های بالا و ماهیت ناشناخته داده های آموزش.این مطالعه به بررسی پتانسیل استفاده از LLM های منبع باز برای NLI می پردازد.نتایج ما نشان می دهد که LLM های منبع باز در هنگام استفاده از جعبه ، به سطح دقت LLM های منبع بسته نمی رسند.با این حال ، هنگامی که بر روی داده های آموزشی برچسب خورده ، LLM های منبع باز می توانند به عملکرد قابل مقایسه با LLM های تجاری دست یابند.