در عصر حاضر، هوش مصنوعی و به خصوص مدل‌های زبانی بزرگ (LLMs) انقلابی در پردازش زبان طبیعی و درک مفاهیم پیچیده ایجاد کرده‌اند. حوزه مالی که با حجم عظیمی از داده‌های متنی، اصطلاحات تخصصی و نیاز به تحلیل‌های دقیق شناخته می‌شود، پتانسیل فراوانی برای بهره‌گیری از این فناوری‌ها دارد. مقاله حاضر با عنوان “CFGPT: Chinese Financial Assistant with Large Language Model”، گامی نوآورانه در جهت ساخت یک دستیار مالی اختصاصی برای زبان چینی برداشته است.

این پژوهش به طور خاص به چالش‌های پردازش زبان چینی در زمینه امور مالی پرداخته و راهکاری جامع مبتنی بر مدل‌های زبانی بزرگ ارائه می‌دهد. اهمیت این تحقیق در توانایی آن برای تسهیل دسترسی به اطلاعات مالی، بهبود تحلیل‌ها و اتخاذ تصمیمات آگاهانه‌تر در بازار چین نهفته است؛ بازاری که پیچیدگی‌ها و مقیاس آن نیازمند ابزارهای تخصصی و بومی‌سازی شده است.

این مقاله محصول تلاش تیمی از محققان برجسته در حوزه هوش مصنوعی و مالی است: Jiangtong Li، Yuxuan Bian، Guoxuan Wang، Yang Lei، Dawei Cheng، Zhijun Ding و Changjun Jiang. این ترکیب از نویسندگان، تخصص‌های متنوعی را در زمینه‌هایی چون پردازش زبان طبیعی، یادگیری ماشین، و علوم مالی گرد هم آورده است.

زمینه اصلی تحقیق این گروه، تقاطع فناوری‌های محاسباتی و مالی است. آن‌ها با تکیه بر دستاوردهای اخیر در زمینه مدل‌های زبانی بزرگ، بر روی ایجاد یک سیستم هوشمند برای درک و پردازش زبان چینی در بافتار مالی تمرکز کرده‌اند. این پژوهش در دسته‌بندی‌های “محاسبات و زبان” (Computation and Language)، “هوش مصنوعی” (Artificial Intelligence)، “مهندسی محاسباتی” (Computational Engineering)، “مالی” (Finance) و “علوم” (Science) قرار می‌گیرد که گستردگی و اهمیت رویکرد چندرشته‌ای آن‌ها را نشان می‌دهد.

چکیده این مقاله به طور خلاصه، چارچوب CFGPT را معرفی می‌کند که شامل سه بخش کلیدی است: مجموعه داده (CFData)، مدل زبانی مالی (CFLLM) و چارچوب پیاده‌سازی (CFAPP).

• CFData: این مجموعه داده شامل دو بخش اصلی است: یک مجموعه داده برای پیش‌آموزش (pre-training) و دیگری برای تنظیم دقیق تحت نظارت (supervised fine-tuning). مجموعه داده پیش‌آموزش، داده‌ها و تحلیل‌های مالی چینی را در کنار زیرمجموعه‌ای از متون عمومی جمع‌آوری کرده است که در مجموع بالغ بر ۵۸۴ میلیون سند و ۱۴۱ میلیارد توکن را شامل می‌شود. مجموعه داده تنظیم دقیق، به طور خاص برای شش وظیفه مالی متمایز طراحی شده و شامل ۱.۵ میلیون جفت دستورالعمل و ۱.۵ میلیارد توکن است که جنبه‌های مختلف تحلیل مالی و تصمیم‌گیری را پوشش می‌دهد.
• CFLLM: این مدل زبانی مالی، بر پایه مدل InternLM-7B ساخته شده است تا تعادلی میان قابلیت مدل و اندازه آن برقرار کند. CFLLM از طریق دو مرحله آموزش، شامل ادامه پیش‌آموزش و تنظیم دقیق تحت نظارت، بر روی داده‌های CFData آموزش دیده است.
• CFAPP: این چارچوب، با محوریت مدل‌های زبانی بزرگ و افزوده شده با ماژول‌های اضافی، برای عملکرد چندوجهی در کاربردهای واقعی مالی طراحی شده است.

کدهای این پروژه در آدرس https://github.com/TongjiFinLab/CFGPT در دسترس عموم قرار گرفته است.

روش‌شناسی تحقیق در مقاله CFGPT بر پایه‌ی رویکردی چندمرحله‌ای و مدولار استوار است که با هدف ایجاد یک سیستم جامع مالی مبتنی بر LLM طراحی شده است. مراحل اصلی این رویکرد عبارتند از:

• جمع‌آوری و آماده‌سازی داده (CFData): اولین گام، ایجاد یک مجموعه داده غنی و متنوع است. این مجموعه شامل دو بخش اصلی است:
  • مجموعه داده پیش‌آموزش: این بخش شامل حجم عظیمی از متون مالی به زبان چینی، تحلیل‌های اقتصادی، گزارش‌های بازار و همچنین مقداری داده عمومی برای تضمین توانایی درک کلی زبان است. هدف این است که مدل با دامنه وسیعی از واژگان و مفاهیم مالی آشنا شود. حجم این داده‌ها (۵۸۴ میلیون سند و ۱۴۱ میلیارد توکن) نشان‌دهنده تلاش گسترده برای پوشش جامع است.
  • مجموعه داده تنظیم دقیق تحت نظارت: این بخش شامل جفت‌های (ورودی، خروجی) خاص برای آموزش مدل در انجام وظایف مشخص مالی است. این وظایف شامل مواردی مانند خلاصه‌سازی گزارش‌های مالی، پاسخ به سوالات مشتریان در مورد محصولات مالی، تحلیل احساسات بازار، پیش‌بینی روند قیمت‌ها و غیره می‌شوند. ۱.۵ میلیون جفت دستورالعمل و ۱.۵ میلیارد توکن در این بخش، دقت و کارایی مدل را برای وظایف کاربردی تضمین می‌کند.
• انتخاب و تطبیق مدل پایه (Base Model): نویسندگان برای ساخت CFLLM، مدل InternLM-7B را به عنوان مدل پایه انتخاب کرده‌اند. این انتخاب بر اساس توازن میان قدرت محاسباتی، اندازه مدل و کارایی آن صورت گرفته است. InternLM-7B یک مدل قدرتمند است که امکان پردازش حجم زیادی از داده‌ها را فراهم می‌آورد، در حالی که حفظ اندازه معقول آن، پیاده‌سازی و استفاده عملی را تسهیل می‌کند.
• آموزش دو مرحله‌ای مدل (CFLLM Training):
  • ادامه پیش‌آموزش (Continued Pre-training): پس از انتخاب مدل پایه، مرحله اول آموزش، ادامه پیش‌آموزش بر روی مجموعه داده CFData است. این مرحله به مدل کمک می‌کند تا دانش تخصصی خود را در حوزه مالی به زبان چینی تقویت کند و با زیروبم‌های این صنعت آشنا شود.
  • تنظیم دقیق تحت نظارت (Supervised Fine-tuning): در مرحله دوم، مدل با استفاده از مجموعه داده تنظیم دقیق، برای انجام وظایف خاص مالی آموزش داده می‌شود. این مرحله به مدل امکان می‌دهد تا آموخته‌های خود را به صورت کاربردی و در جهت حل مسائل واقعی مالی به کار گیرد.
• توسعه چارچوب پیاده‌سازی (CFAPP): برای انتقال مدل آموزش‌دیده از محیط آزمایشگاهی به دنیای واقعی، چارچوب CFAPP طراحی شده است. این چارچوب تنها به مدل زبانی بزرگ محدود نمی‌شود، بلکه ماژول‌های اضافی را برای افزایش قابلیت‌ها و اطمینان از عملکرد صحیح در سناریوهای پیچیده مالی ادغام می‌کند. این ماژول‌ها می‌توانند شامل ابزارهای تحلیل داده، پایگاه‌های دانش تخصصی، یا مکانیزم‌های امنیتی باشند.
• انتشار کد: شفافیت و قابلیت تکرارپذیری نتایج، از اصول علمی مهم است. انتشار کدها در گیت‌هاب، به جامعه تحقیقاتی و توسعه‌دهندگان امکان می‌دهد تا از این کار بهره‌مند شده و آن را گسترش دهند.

این روش‌شناسی ترکیبی از جمع‌آوری داده‌های غنی، انتخاب مدل مناسب، آموزش تخصصی و توسعه یک پلتفرم عملی، منجر به ایجاد یک دستیار مالی قدرتمند و کاربردی شده است.

تحقیقات انجام شده بر روی CFGPT منجر به یافته‌های کلیدی و دستاوردهای مهمی شده است که در ادامه به آن‌ها اشاره می‌شود:

• توسعه اولین LLM تخصصی مالی برای زبان چینی: یکی از برجسته‌ترین دستاوردهای این پروژه، ساخت یک مدل زبانی بزرگ است که به طور خاص برای پردازش و درک متون مالی به زبان چینی طراحی شده است. این امر گامی مهم در جهت رفع شکاف موجود در ابزارهای هوش مصنوعی برای بازارهای غیرانگلیسی‌زبان است.
• ایجاد مجموعه داده CFData: حجم و کیفیت مجموعه داده CFData، که شامل داده‌های مالی وسیع و متنوع به زبان چینی است، یک منبع ارزشمند برای تحقیقات آینده در این حوزه محسوب می‌شود. این داده‌ها امکان آموزش مدل‌های پیشرفته‌تر و با قابلیت‌های گسترده‌تر را فراهم می‌آورد.
• عملکرد بالا در وظایف مالی: مدل CFLLM، پس از آموزش بر روی CFData، توانایی چشمگیری در انجام وظایف مختلف مالی از خود نشان داده است. این وظایف شامل تحلیل احساسات بازار، خلاصه‌سازی گزارش‌های مالی، پاسخگویی به سوالات پیچیده مشتریان و حتی پیش‌بینی‌های اولیه بر اساس داده‌های تاریخی هستند.
• توازن میان کارایی و اندازه مدل: استفاده از InternLM-7B به عنوان مدل پایه، نشان‌دهنده رویکرد هوشمندانه در جهت دستیابی به تعادلی میان قدرت پردازشی و منابع مورد نیاز برای پیاده‌سازی است. این امر CFGPT را برای کاربردهای عملی و در مقیاس بزرگ مناسب می‌سازد.
• قابلیت تعمیم‌پذیری: طراحی چارچوب CFAPP با ماژول‌های اضافی، تضمین می‌کند که CFGPT تنها یک مدل زبانی نیست، بلکه یک سیستم جامع است که می‌تواند در سناریوهای واقعی مالی به کار گرفته شود و با نیازهای متغیر بازار انطباق یابد.

این یافته‌ها نشان می‌دهند که CFGPT پتانسیل بالایی برای دگرگون کردن نحوه تعامل فعالان بازار مالی چین با داده‌ها و اطلاعات دارد.

دستیار مالی چینی CFGPT، با قابلیت‌های منحصربه‌فرد خود، پتانسیل بالایی برای ایجاد تحول در حوزه‌های مختلف مالی و در بخش بازار چین دارد. برخی از کاربردهای کلیدی و دستاوردهای این پروژه عبارتند از:

• افزایش بهره‌وری تحلیلگران مالی: CFGPT می‌تواند با سرعت بخشیدن به فرآیند جمع‌آوری، پردازش و خلاصه‌سازی اطلاعات مالی، زمان مورد نیاز تحلیلگران را برای وظایف تکراری کاهش دهد. این امر به آن‌ها اجازه می‌دهد تا زمان بیشتری را صرف تحلیل عمیق و تدوین استراتژی‌های پیچیده کنند. به عنوان مثال، خلاصه‌سازی خودکار گزارش‌های سالانه شرکت‌های بورسی چین، که معمولاً حجیم و پیچیده هستند، می‌تواند به طور قابل توجهی در زمان صرفه‌جویی کند.
• بهبود خدمات مشتری در بانک‌ها و موسسات مالی: چت‌بات‌های مبتنی بر CFGPT می‌توانند به سوالات متداول مشتریان در مورد محصولات بانکی، سرمایه‌گذاری‌ها، وام‌ها و خدمات دیگر به زبان چینی پاسخ دهند. این امر باعث کاهش بار کاری مراکز تماس، افزایش رضایت مشتری و ارائه خدمات ۲۴/۷ می‌شود.
• تحلیل جامع اخبار و شبکه‌های اجتماعی: CFGPT قادر است حجم عظیمی از اخبار مالی، مقالات تحلیلی و پست‌های شبکه‌های اجتماعی را به زبان چینی بررسی کرده و احساسات بازار نسبت به یک سهم، صنعت یا روند اقتصادی خاص را شناسایی کند. این قابلیت برای سرمایه‌گذاران و مدیران ریسک بسیار ارزشمند است.
• کمک به تصمیم‌گیری‌های سرمایه‌گذاری: با ارائه خلاصه‌ای از روندهای بازار، پیش‌بینی‌های احتمالی و تحلیل ریسک‌ها، CFGPT می‌تواند به سرمایه‌گذاران در اتخاذ تصمیمات آگاهانه‌تر و مبتنی بر داده کمک کند.
• پشتیبانی از مقررات و انطباق (Compliance): درک دقیق مستندات و مقررات مالی به زبان چینی، که اغلب دارای اصطلاحات حقوقی و تخصصی هستند، برای اطمینان از انطباق با قوانین امری حیاتی است. CFGPT می‌تواند در این زمینه کمک‌کننده باشد.
• تسریع نوآوری در فین‌تک: توسعه‌دهندگان فین‌تک در چین می‌توانند از CFGPT به عنوان یک ابزار قدرتمند برای ساخت محصولات و خدمات نوآورانه جدید که نیازمند پردازش زبان طبیعی پیچیده در حوزه مالی هستند، استفاده کنند.

دستاورد اصلی CFGPT، فراتر از یک ابزار فنی، ایجاد پلی میان پیچیدگی‌های زبان و بازار مالی چین و قابلیت‌های پیشرفته هوش مصنوعی است. این پروژه گامی مهم در جهت دموکراتیزه کردن دسترسی به اطلاعات و تحلیل‌های مالی در یکی از بزرگترین بازارهای اقتصادی جهان محسوب می‌شود.

مقاله CFGPT: Chinese Financial Assistant with Large Language Model، گامی مهم و موفقیت‌آمیز در جهت بومی‌سازی و تخصصی‌سازی مدل‌های زبانی بزرگ برای حوزه مالی زبان چینی است. نویسندگان با ارائه یک چارچوب جامع شامل داده‌ها، مدل و پلتفرم پیاده‌سازی، ابزاری قدرتمند را برای رفع نیازهای روزافزون بازار مالی چین مهیا کرده‌اند.

یافته‌های این تحقیق نشان می‌دهد که LLMهای تخصصی شده، نه تنها قادر به درک مفاهیم پیچیده زبان طبیعی در یک حوزه تخصصی هستند، بلکه می‌توانند با آموزش دقیق، وظایف کاربردی و حیاتی را نیز با دقت و کارایی بالا انجام دهند. حجم عظیم داده‌های جمع‌آوری شده و رویکرد دو مرحله‌ای آموزش، کلید موفقیت CFGPT در دستیابی به عملکرد مطلوب بوده است.

دستاورد CFGPT فراتر از یک پروژه تحقیقاتی است؛ این چارچوب پتانسیل تغییر چشمگیری در نحوه پردازش اطلاعات، اتخاذ تصمیمات و ارائه خدمات در بخش مالی چین را دارد. از تحلیلگران و سرمایه‌گذاران گرفته تا مشتریان عادی بانک‌ها، همگی می‌توانند از دقت، سرعت و دسترسی‌پذیری اطلاعاتی که CFGPT ارائه می‌دهد، بهره‌مند شوند.

آینده این حوزه روشن به نظر می‌رسد. با پیشرفت روزافزون مدل‌های زبانی بزرگ و افزایش دسترسی به داده‌های تخصصی، شاهد توسعه دستیاران مالی هوشمندتر، دقیق‌تر و کارآمدتری برای زبان‌های مختلف و بازارهای متنوع خواهیم بود. CFGPT نمونه‌ای برجسته از این روند رو به رشد است و مسیر را برای تحقیقات و نوآوری‌های آتی هموار می‌سازد.