ترجمه فارسی مقاله ارزیابی عملکرد مدل‌های زبان بزرگ برای نگاشت اهداف توسعه پایدار (گزارش فنی)

چکیده

The use of large language models (LLMs) is expanding rapidly, and open-source versions are becoming available, offering users safer and more adaptable options. These models enable users to protect data privacy by eliminating the need to provide data to third parties and can be customized for specific tasks. In this study, we compare the performance of various language models on the Sustainable Development Goal (SDG) mapping task, using the output of GPT-4o as the baseline. The selected open-source models for comparison include Mixtral, LLaMA 2, LLaMA 3, Gemma, and Qwen2. Additionally, GPT-4o-mini, a more specialized version of GPT-4o, was included to extend the comparison. Given the multi-label nature of the SDG mapping task, we employed metrics such as F1 score, precision, and recall with micro-averaging to evaluate different aspects of the models’ performance. These metrics are derived from the confusion matrix to ensure a comprehensive evaluation. We provide a clear observation and analysis of each model’s performance by plotting curves based on F1 score, precision, and recall at different thresholds. According to the results of this experiment, LLaMA 2 and Gemma still have significant room for improvement. The other four models do not exhibit particularly large differences in performance. The outputs from all seven models are available on Zenodo: https://doi.org/10.5281/zenodo.12789375.

چکیده به فارسی (ترجمه ماشینی)

استفاده از مدل های بزرگ زبان (LLMS) به سرعت در حال گسترش است و نسخه های منبع باز در دسترس هستند و گزینه های ایمن تر و سازگار تر را به کاربران ارائه می دهند.این مدل ها کاربران را قادر می سازد با از بین بردن نیاز به ارائه داده ها به اشخاص ثالث ، از حریم خصوصی داده ها محافظت کنند و می توانند برای کارهای خاص سفارشی شوند.در این مطالعه ، ما با استفاده از خروجی GPT-4O به عنوان پایه ، عملکرد مدل های مختلف زبانی را در وظیفه نقشه برداری هدف توسعه پایدار (SDG) مقایسه می کنیم.مدل های منبع باز برای مقایسه شامل Mixtral ، Llama 2 ، Llama 3 ، Gemma و Qwen2 است.علاوه بر این ، GPT-4O-Mini ، یک نسخه تخصصی تر از GPT-4O ، برای گسترش این مقایسه گنجانده شده است.با توجه به ماهیت چند برچسب کار نقشه برداری SDG ، ما از معیارهایی مانند نمره F1 ، دقت و یادآوری با میکرو متوسط ​​استفاده کردیم تا جنبه های مختلف عملکرد مدل ها را ارزیابی کنیم.این معیارها برای اطمینان از ارزیابی جامع از ماتریس سردرگمی حاصل می شوند.ما با ترسیم منحنی ها بر اساس نمره F1 ، دقت و یادآوری در آستانه های مختلف ، مشاهده و تجزیه و تحلیل روشنی از عملکرد هر مدل ارائه می دهیم.با توجه به نتایج این آزمایش ، Llama 2 و Gemma هنوز فضای قابل توجهی برای بهبود دارند.چهار مدل دیگر تفاوت های زیادی در عملکرد ندارند.خروجی از هر هفت مدل در Zenodo موجود است: https://doi.org/10.5281/zenodo.12789375.