ظهور مدل‌های زبانی بزرگ (LLMs) مانند ChatGPT، انقلابی در وظایف کلی پردازش زبان طبیعی (NLP) ایجاد کرده است. این مدل‌ها به سرعت در حوزه‌های مختلف نفوذ کرده‌اند و توانایی‌های قابل توجهی در درک و تولید متن از خود نشان داده‌اند. با این حال، یک سوال کلیدی باقی می‌ماند: آیا این مدل‌ها واقعاً در زمینه‌های تخصصی مانند مالی خبره هستند؟ درک این موضوع که LLMها تا چه حد می‌توانند مسائل مالی را درک کرده و به آنها پاسخ دهند، برای کاربردهای بالقوه آنها در این صنعت حیاتی است.

این مقاله توسط یوئه گائو، زیان شو و یی یانگ به رشته تحریر درآمده است. زمینه تحقیقاتی این نویسندگان، تلفیق حوزه‌های محاسبات و زبان است. آنها به طور خاص به بررسی توانایی‌های مدل‌های زبانی بزرگ در زمینه پردازش زبان طبیعی مالی تمرکز کرده‌اند. این موضوع از اهمیت بالایی برخوردار است زیرا پتانسیل LLMها را برای خودکارسازی و بهبود وظایف مختلف در صنعت مالی، از تحلیل اخبار و گزارش‌های مالی گرفته تا کمک به سرمایه‌گذاران در تصمیم‌گیری‌های آگاهانه، بررسی می‌کند.

چکیده مقاله به این نکته اشاره می‌کند که علی‌رغم پیشرفت‌های چشمگیر LLMها در NLP عمومی، تخصص آنها در حوزه مالی به طور جامع ارزیابی نشده است. برای رفع این شکاف، نویسندگان چارچوبی به نام FinLMEval ارائه داده‌اند. FinLMEval مجموعه‌ای از نه مجموعه داده است که برای ارزیابی عملکرد مدل‌های زبانی در وظایف NLP مالی طراحی شده‌اند.

این مطالعه به مقایسه عملکرد مدل‌های زبانی فقط رمزگذار (encoder-only) و فقط رمزگشا (decoder-only) می‌پردازد. مدل‌های فقط رمزگذار، مانند BERT، درک عمیقی از متن دارند، در حالی که مدل‌های فقط رمزگشا، مانند GPT، در تولید متن روان و مرتبط عملکرد بهتری دارند.

یافته‌های کلیدی نشان می‌دهد که در حالی که برخی از LLMهای فقط رمزگشا عملکرد قابل توجهی در اکثر وظایف مالی از طریق درخواست‌دهی صفر-شات (zero-shot prompting) نشان می‌دهند (به این معنی که مدل‌ها بدون آموزش قبلی خاص روی داده‌های مالی، وظایف را انجام می‌دهند)، عموماً از مدل‌های تخصصی و دقیق تنظیم شده (fine-tuned) عقب‌تر هستند، به ویژه هنگامی که با مجموعه‌های داده اختصاصی (proprietary datasets) سروکار دارند. این مجموعه‌های داده اختصاصی اغلب حاوی اطلاعات حساس و محرمانه‌ای هستند که فقط برای سازمان‌های خاص در دسترس هستند.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

• جمع‌آوری و سازماندهی مجموعه‌های داده: نویسندگان نه مجموعه داده را گردآوری و سازماندهی کردند که طیف وسیعی از وظایف NLP مالی را پوشش می‌دهند. این وظایف ممکن است شامل تحلیل احساسات اخبار مالی، شناسایی ریسک‌های اعتباری، استخراج اطلاعات از گزارش‌های مالی و پیش‌بینی روند بازار باشد.
• انتخاب مدل‌های زبانی: محققان طیف وسیعی از مدل‌های زبانی، از جمله مدل‌های فقط رمزگذار (مانند BERT و مدل‌های مشتق شده از آن) و مدل‌های فقط رمزگشا (مانند ChatGPT و مدل‌های مشابه) را برای ارزیابی انتخاب کردند.
• تنظیم دقیق مدل‌ها (Fine-tuning): برخی از مدل‌ها بر روی مجموعه‌های داده مالی تنظیم دقیق شدند تا عملکرد آنها در وظایف خاص بهبود یابد. این فرآیند شامل آموزش مدل با استفاده از داده‌های مالی خاص است تا مدل بتواند الگوها و روابط موجود در داده‌ها را یاد بگیرد.
• ارزیابی عملکرد: عملکرد مدل‌ها با استفاده از معیارهای مختلف ارزیابی شد که برای هر وظیفه خاص مناسب بودند. این معیارها ممکن است شامل دقت، بازخوانی، امتیاز F1 و سایر معیارهای ارزیابی استاندارد در NLP باشد.
• تحلیل و مقایسه نتایج: نتایج به دست آمده برای مدل‌های مختلف با یکدیگر مقایسه شد تا نقاط قوت و ضعف هر مدل در وظایف مختلف مالی مشخص شود.

به عنوان مثال، یک مجموعه داده ممکن است شامل توییت‌های مربوط به سهام مختلف باشد، که با برچسب‌های “مثبت”، “منفی” یا “خنثی” برای نشان دادن احساسات مرتبط با سهام برچسب‌گذاری شده‌اند. یک مدل زبانی می‌تواند برای پیش‌بینی احساسات مرتبط با یک توییت جدید آموزش داده شود. در این حالت، دقت مدل می‌تواند به عنوان یک معیار برای ارزیابی عملکرد آن استفاده شود.

برخی از یافته‌های کلیدی این تحقیق عبارتند از:

• عملکرد قابل قبول مدل‌های فقط رمزگشا در درخواست‌دهی صفر-شات: مدل‌های فقط رمزگشا، مانند ChatGPT، می‌توانند بدون آموزش قبلی خاص روی داده‌های مالی، عملکرد قابل قبولی در برخی از وظایف مالی داشته باشند. این نشان می‌دهد که این مدل‌ها دارای دانش عمومی کافی هستند که می‌توانند در برخی موارد آن را به حوزه مالی تعمیم دهند.
• برتری مدل‌های تخصصی و دقیق تنظیم شده: مدل‌های تخصصی که بر روی مجموعه‌های داده مالی تنظیم دقیق شده‌اند، به طور کلی عملکرد بهتری نسبت به مدل‌های عمومی دارند، به ویژه هنگامی که با مجموعه‌های داده اختصاصی سروکار دارند. این نشان می‌دهد که برای دستیابی به بهترین عملکرد در وظایف خاص مالی، آموزش مدل با استفاده از داده‌های مالی خاص ضروری است.
• چالش‌های کار با داده‌های اختصاصی: مدل‌ها در کار با مجموعه‌های داده اختصاصی با چالش‌هایی روبرو هستند. این ممکن است به دلیل کمبود داده‌های آموزشی، پیچیدگی داده‌ها یا نیاز به دانش دامنه خاص باشد.

برای مثال، یک مدل زبانی ممکن است به خوبی در تحلیل اخبار عمومی مالی عمل کند، اما در تحلیل گزارش‌های مالی یک شرکت خاص که حاوی اصطلاحات و اطلاعات فنی تخصصی است، با مشکل مواجه شود.

این تحقیق دارای کاربردهای بالقوه متعددی در صنعت مالی است. برخی از این کاربردها عبارتند از:

• خودکارسازی وظایف: LLMها می‌توانند برای خودکارسازی وظایف مختلف در صنعت مالی، مانند تحلیل اخبار مالی، شناسایی ریسک‌های اعتباری و استخراج اطلاعات از گزارش‌های مالی، استفاده شوند.
• بهبود تصمیم‌گیری: LLMها می‌توانند با ارائه اطلاعات و تحلیل‌های دقیق و به موقع، به سرمایه‌گذاران در تصمیم‌گیری‌های آگاهانه‌تر کمک کنند.
• کاهش هزینه‌ها: با خودکارسازی وظایف و بهبود کارایی، LLMها می‌توانند به کاهش هزینه‌های عملیاتی در صنعت مالی کمک کنند.

به عنوان مثال، یک شرکت سرمایه‌گذاری می‌تواند از LLMها برای تحلیل سریع گزارش‌های مالی شرکت‌ها استفاده کند تا فرصت‌های سرمایه‌گذاری بالقوه را شناسایی کند. یا یک بانک می‌تواند از LLMها برای ارزیابی ریسک اعتباری مشتریان خود استفاده کند تا تصمیمات بهتری در مورد اعطای وام بگیرد.

دستاورد اصلی این تحقیق، ارائه چارچوب FinLMEval است که می‌تواند به عنوان یک معیار استاندارد برای ارزیابی عملکرد LLMها در وظایف NLP مالی مورد استفاده قرار گیرد. این چارچوب به محققان و توسعه‌دهندگان کمک می‌کند تا مدل‌های بهتری را برای صنعت مالی توسعه دهند.

این مقاله به بررسی توانایی‌های مدل‌های زبانی بزرگ در زمینه پردازش زبان طبیعی مالی پرداخته است. یافته‌های این تحقیق نشان می‌دهد که در حالی که LLMها پتانسیل قابل توجهی برای کاربرد در صنعت مالی دارند، اما هنوز به سطح تخصص مورد نیاز برای جایگزینی کامل متخصصان انسانی نرسیده‌اند. برای دستیابی به بهترین عملکرد، آموزش مدل‌ها با استفاده از داده‌های مالی خاص و تخصصی ضروری است. چارچوب FinLMEval ارائه شده در این مقاله، گامی مهم در جهت ارزیابی و بهبود LLMها برای کاربردهای مالی است. تحقیقات آتی می‌توانند بر توسعه مدل‌های تخصصی‌تر و بهبود عملکرد LLMها در کار با داده‌های اختصاصی تمرکز کنند. در نهایت، تلفیق تخصص انسانی با توانایی‌های LLMها می‌تواند منجر به ایجاد راهکارهای نوآورانه‌ای در صنعت مالی شود که کارایی، دقت و شفافیت را افزایش می‌دهد.