ترجمه فارسی مقاله اثربخشی مدل‌های زبان بزرگ در بررسی‌های سیستماتیک

چکیده

This study investigates the effectiveness of Large Language Models (LLMs) in interpreting existing literature through a systematic review of the relationship between Environmental, Social, and Governance (ESG) factors and financial performance. The primary objective is to assess how LLMs can replicate a systematic review on a corpus of ESG-focused papers. We compiled and hand-coded a database of 88 relevant papers published from March 2020 to May 2024. Additionally, we used a set of 238 papers from a previous systematic review of ESG literature from January 2015 to February 2020. We evaluated two current state-of-the-art LLMs, Meta AI’s Llama 3 8B and OpenAI’s GPT-4o, on the accuracy of their interpretations relative to human-made classifications on both sets of papers. We then compared these results to a “Custom GPT” and a fine-tuned GPT-4o Mini model using the corpus of 238 papers as training data. The fine-tuned GPT-4o Mini model outperformed the base LLMs by 28.3% on average in overall accuracy on prompt 1. At the same time, the “Custom GPT” showed a 3.0% and 15.7% improvement on average in overall accuracy on prompts 2 and 3, respectively. Our findings reveal promising results for investors and agencies to leverage LLMs to summarize complex evidence related to ESG investing, thereby enabling quicker decision-making and a more efficient market.

چکیده به فارسی (ترجمه ماشینی)

این مطالعه به بررسی اثربخشی مدلهای بزرگ زبان (LLM) در تفسیر ادبیات موجود از طریق یک بررسی منظم از رابطه بین عوامل محیطی ، اجتماعی و حاکمیتی (ESG) و عملکرد مالی می پردازد.هدف اصلی این است که چگونه LLM ها می توانند یک بررسی منظم را در مورد مقالات ESG متمرکز کنند.ما یک پایگاه داده از 88 مقاله مربوطه منتشر شده از مارس 2020 تا مه 2024 را گردآوری و کدگذاری کردیم. علاوه بر این ، ما از 238 مقاله از یک بررسی منظم قبلی ادبیات ESG از ژانویه 2015 تا فوریه 2020 استفاده کردیم.LLMS از هنر ، Llama 3 8B Meta Ai و GPT-4O Openai ، در مورد صحت تفسیرهای آنها نسبت به طبقه بندی های انسانی در هر دو مجموعه مقاله.ما سپس این نتایج را با “GPT سفارشی” و یک مدل کوچک GPT-4O تنظیم شده با استفاده از قسمت 238 مقاله به عنوان داده های آموزش مقایسه کردیم.مدل کوچک GPT-4O تنظیم شده از LLMS پایه به طور متوسط ​​28.3 ٪ به طور متوسط ​​در دقت کلی در سریع 1.به ترتیب 2 و 3.یافته های ما نتایج امیدوار کننده ای را برای سرمایه گذاران و آژانس ها نشان می دهد که از LLM ها استفاده کنند تا شواهد پیچیده مربوط به سرمایه گذاری ESG را خلاصه کنند ، از این طریق تصمیم گیری سریعتر و یک بازار کارآمدتر را امکان پذیر می کنند.