این مقاله علمی با عنوان “یک مدل ترانسفورمر برای پیش‌بینی نکول در بازارهای شرکتی با سرمایه متوسط” (A transformer-based model for default prediction in mid-cap corporate markets)، به بررسی یکی از چالش‌برانگیزترین موضوعات در حوزه مالی، یعنی پیش‌بینی نکول (Default Prediction) شرکت‌ها، می‌پردازد. این تحقیق توسط کامش کورانگی، کریستف میووس و کریستیان براوو انجام شده است و دستاوردهای مهمی در ادغام پیشرفت‌های هوش مصنوعی، به ویژه مدل‌های ترانسفورمر، با مدل‌سازی ریسک اعتباری ارائه می‌دهد.

اهمیت این مطالعه در تمرکز آن بر شرکت‌های با سرمایه متوسط (Mid-cap companies) است. این شرکت‌ها، که معمولاً دارای ارزش بازار کمتر از ۱۰ میلیارد دلار آمریکا هستند، اغلب در مطالعات پیش‌بینی نکول مورد غفلت قرار می‌گیرند. در حالی که شرکت‌های بزرگ و کوچک به دلیل حجم بالای داده‌ها یا نیازهای خاص، به طور گسترده‌ای تحلیل می‌شوند، شرکت‌های با سرمایه متوسط نقش حیاتی در اقتصاد جهانی ایفا می‌کنند و درک ریسک نکول آن‌ها برای سرمایه‌گذاران، وام‌دهندگان و نهادهای نظارتی از اهمیت بالایی برخوردار است. پیش‌بینی دقیق نکول این شرکت‌ها می‌تواند به تصمیم‌گیری‌های آگاهانه‌تر در تخصیص سرمایه، مدیریت ریسک پورتفولیو و جلوگیری از بحران‌های مالی کمک شایانی کند.

این مقاله نه تنها به یک شکاف تحقیقاتی مهم می‌پردازد، بلکه با معرفی یک رویکرد نوین مبتنی بر مدل‌های ترانسفورمر (Transformer Models) به حل آن کمک می‌کند. مدل‌های ترانسفورمر که در ابتدا برای پردازش زبان طبیعی (NLP) توسعه یافتند، قابلیت‌های بی‌نظیری در مدل‌سازی وابستگی‌های طولانی‌مدت در داده‌های توالی (sequential data) دارند. تطبیق این مدل‌ها برای داده‌های مالی سری زمانی، یک نوآوری کلیدی است که پتانسیل بالایی برای بهبود دقت پیش‌بینی‌ها و همچنین فراهم آوردن بینش‌های عمیق‌تر در مورد عوامل ریسک نکول دارد.

این پژوهش توسط Kamesh Korangi، Christophe Mues و Cristián Bravo به انجام رسیده است. این اسامی نشان‌دهنده تیمی با تخصص‌های متقاطع در حوزه‌های مالی عمومی (General Finance)، کامپیوتر و جامعه (Computers and Society)، یادگیری ماشین (Machine Learning) و مدیریت ریسک (Risk Management) هستند. این ترکیب از تخصص‌ها برای پرداختن به مسائلی در تقاطع هوش مصنوعی و امور مالی بسیار حائز اهمیت است.

زمینه تحقیق این مقاله در مدل‌سازی ریسک اعتباری (Credit Risk Modelling) قرار دارد که یکی از ستون‌های اصلی مدیریت مالی و بانکی است. پیش‌بینی نکول شرکت‌ها برای بانک‌ها، صندوق‌های سرمایه‌گذاری، شرکت‌های بیمه و حتی نهادهای نظارتی از اهمیت حیاتی برخوردار است تا بتوانند تصمیمات اعتباری، سرمایه‌گذاری و رگولاتوری خود را بر پایه اطلاعات دقیق و به‌روز اتخاذ کنند. در دهه‌های اخیر، با پیشرفت‌های چشمگیر در حوزه یادگیری ماشین و یادگیری عمیق، محققان به دنبال استفاده از این ابزارها برای بهبود دقت و کارایی مدل‌های پیش‌بینی نکول بوده‌اند.

این مقاله به طور خاص به چالش‌های موجود در مدل‌سازی ریسک برای شرکت‌های با سرمایه متوسط می‌پردازد. این شرکت‌ها اغلب دارای ساختارها و ویژگی‌های مالی پیچیده‌ای هستند که آن‌ها را از شرکت‌های بسیار بزرگ یا بسیار کوچک متمایز می‌کند. علاوه بر این، حجم و کیفیت داده‌های موجود برای این شرکت‌ها ممکن است چالش‌های خاص خود را داشته باشد. نویسندگان با درک این پیچیدگی‌ها، به دنبال ارائه یک چارچوب قدرتمند و انعطاف‌پذیر هستند که بتواند این چالش‌ها را به طور موثرتری مدیریت کند و بینش‌های جدیدی را در مورد عوامل موثر بر ریسک نکول ارائه دهد.

مقاله به بررسی جامع شرکت‌های با سرمایه متوسط (شرکت‌های سهامی عام با ارزش بازار کمتر از ۱۰ میلیارد دلار آمریکا) می‌پردازد. هدف اصلی، پیش‌بینی ساختار زمانی احتمال نکول در میان‌مدت و شناسایی منابع داده‌ای است که بیشترین سهم را در ریسک نکول دارند. این منابع داده‌ای شامل داده‌های بنیادی (Fundamental)، داده‌های بازار (Market) و داده‌های قیمت‌گذاری (Pricing) هستند.

نقطه قوت و نوآوری اصلی این پژوهش در رویکرد آن به مدل‌سازی است. در حالی که روش‌های موجود معمولاً نیازمند تجمیع داده‌ها از دوره‌های زمانی مختلف و تبدیل آن‌ها به ویژگی‌های مقطعی (cross-sectional features) هستند، نویسندگان مسئله را به عنوان یک مسئله طبقه‌بندی سری‌های زمانی چندبرچسبی (Multi-label Time-Series Classification Problem) تعریف می‌کنند. این تغییر رویکرد، امکان استفاده مستقیم از ماهیت سری زمانی داده‌ها را فراهم می‌آورد و از دست رفتن اطلاعات مهم در فرآیند تجمیع جلوگیری می‌کند.

برای حل این مسئله، نویسندگان مدل‌های ترانسفورمر را که مدل‌های پیشرفته یادگیری عمیق نشأت گرفته از حوزه پردازش زبان طبیعی هستند، با تنظیمات مدل‌سازی ریسک اعتباری تطبیق می‌دهند. این تطبیق شامل چندین نوآوری کلیدی است:

• معرفی تابع هزینه سفارشی (Custom Loss Function) برای طبقه‌بندی چندبرچسبی، که به طور خاص برای بهبود عملکرد مدل در این زمینه طراحی شده است.
• ارائه یک معماری نوین چندکاناله (Novel Multi-channel Architecture) با آموزش دیفرانسیلی (differential training) که به مدل امکان می‌دهد تا از تمام داده‌های ورودی به طور کارآمد استفاده کند. این معماری به مدل کمک می‌کند تا انواع مختلف داده (بنیادی، بازار، قیمت‌گذاری) را به صورت موازی پردازش کرده و اطلاعات جامع‌تری استخراج کند.

علاوه بر این، برای افزایش قابلیت تفسیرپذیری مدل، نویسندگان از نقشه‌های حرارتی توجه (Attention Heat Maps) برای درک نحوه عملکرد مدل و همچنین رویکرد شپلی (Shapley Approach) برای رتبه‌بندی اهمیت منابع داده‌ای مختلف و روابط زمانی آن‌ها استفاده می‌کنند. این ابزارهای تفسیرپذیری برای اعتمادسازی و اتخاذ تصمیمات آگاهانه در حوزه مالی بسیار حیاتی هستند.

این تحقیق از یک روش‌شناسی دقیق و نوآورانه برای مقابله با چالش‌های پیش‌بینی نکول در شرکت‌های با سرمایه متوسط بهره می‌برد. هسته اصلی روش‌شناسی بر یادگیری عمیق و به طور خاص، مدل‌های ترانسفورمر استوار است.

۱. مجموعه داده:

محققان از یک مجموعه داده بزرگ و جامع از شرکت‌های با سرمایه متوسط ایالات متحده استفاده کرده‌اند. این داده‌ها شامل مشاهدات بیش از ۳۰ سال هستند که امکان تحلیل الگوهای بلندمدت و تغییرات در ریسک نکول را فراهم می‌آورد. این داده‌ها شامل سه دسته اصلی هستند:

• داده‌های بنیادی: شامل اطلاعات مالی از صورت‌های مالی شرکت‌ها (مانند درآمد، سود، بدهی‌ها).
• داده‌های بازار: شامل اطلاعات مربوط به عملکرد سهام شرکت در بازار (مانند نوسانات قیمت، حجم معاملات).
• داده‌های قیمت‌گذاری: شامل اطلاعات مربوط به ابزارهای مالی مرتبط با شرکت (مانند اوراق قرضه).

۲. فرموله کردن مسئله:

برخلاف رویکردهای سنتی که داده‌های سری زمانی را به ویژگی‌های مقطعی تبدیل می‌کنند، این مقاله مسئله را به عنوان یک مسئله طبقه‌بندی سری‌های زمانی چندبرچسبی فرموله می‌کند. این بدان معناست که مدل به جای پیش‌بینی یک برچسب واحد در یک نقطه زمانی، قادر به پیش‌بینی ساختار زمانی احتمال نکول (مثلاً احتمال نکول در ۶ ماه آینده، ۱۲ ماه آینده، ۲۴ ماه آینده و غیره) به صورت همزمان است. این فرمول‌بندی، اطلاعات غنی‌تری را از داده‌های زمانی حفظ می‌کند.

۳. مدل ترانسفورمر:

نویسندگان مدل‌های ترانسفورمر را که به خاطر توانایی‌شان در مدل‌سازی وابستگی‌های بلندمدت و اهمیت‌بخشی به ورودی‌های مختلف (mechanism of attention) در پردازش زبان طبیعی مشهور هستند، برای وظیفه پیش‌بینی نکول تطبیق داده‌اند. این مدل‌ها به دلیل معماری مبتنی بر توجه (attention-based architecture) می‌توانند به طور موثر ارتباطات پیچیده بین داده‌های مالی در طول زمان را شناسایی کنند.

۴. نوآوری‌های معماری و آموزشی:

• تابع هزینه سفارشی: یک تابع هزینه خاص برای طبقه‌بندی چندبرچسبی توسعه یافته است که به مدل امکان می‌دهد تا عملکرد خود را در پیش‌بینی دقیق ساختار زمانی نکول بهینه‌سازی کند. این تابع هزینه می‌تواند به مسائلی مانند عدم تعادل کلاس‌ها (class imbalance) در داده‌های نکول بهتر پاسخ دهد.
• معماری چندکاناله با آموزش دیفرانسیلی: برای استفاده بهینه از انواع مختلف داده‌های ورودی (بنیادی، بازار، قیمت‌گذاری)، یک معماری چندکاناله طراحی شده است. هر کانال ممکن است برای نوع خاصی از داده بهینه‌سازی شده و سپس خروجی‌ها به یکدیگر متصل شوند. آموزش دیفرانسیلی (Differential Training) به مدل اجازه می‌دهد تا وزن‌های یادگیری را برای هر کانال یا بخش از شبکه به طور مستقل تنظیم کند، که منجر به همگرایی بهتر و استفاده کارآمدتر از داده‌ها می‌شود.

۵. تفسیرپذیری مدل:

برای افزایش شفافیت و اعتماد به مدل، دو تکنیک اصلی تفسیرپذیری به کار گرفته شده است:

• نقشه‌های حرارتی توجه (Attention Heat Maps): این نقشه‌ها بصری‌سازی می‌کنند که مدل در زمان پیش‌بینی، به کدام بخش‌ها یا ویژگی‌های ورودی بیشتر “توجه” می‌کند. این امر به درک اینکه کدام رویدادهای مالی یا کدام داده‌ها در گذشته بیشترین تأثیر را بر پیش‌بینی نکول آینده دارند، کمک می‌کند.
• رویکرد Shapley: برای تعیین اهمیت سهم‌دهی (contribution importance) هر منبع داده‌ای (بنیادی، بازار، قیمت‌گذاری) و همچنین روابط زمانی، از رویکرد شپلی استفاده می‌شود. این روش، یک راه استاندارد و مبتنی بر تئوری بازی‌ها برای تخصیص “اعتبار” پیش‌بینی به ویژگی‌های ورودی است.

نتایج حاصل از این پژوهش، کارایی و برتری چشمگیر معماری یادگیری عمیق پیشنهادی را به وضوح نشان می‌دهد. این یافته‌ها نه تنها از لحاظ تئوری بلکه از جنبه‌های عملی نیز دارای اهمیت فراوانی هستند:

• بهبود عملکرد چشمگیر: مهم‌ترین دستاورد، بهبود ۱۳ درصدی در معیار AUC (Area Under the Receiver Operating Characteristic Curve) نسبت به مدل‌های سنتی است. AUC یک معیار استاندارد برای ارزیابی عملکرد مدل‌های طبقه‌بندی است و بهبود ۱۳ درصدی در آن، نشان‌دهنده یک جهش قابل توجه در دقت پیش‌بینی است. این بدان معناست که مدل ترانسفورمر پیشنهادی قادر است با دقت بسیار بالاتری شرکت‌هایی را که در آینده دچار نکول خواهند شد، از شرکت‌هایی که نکول نمی‌کنند، متمایز کند.
• شناسایی اهمیت منابع داده‌ای: با استفاده از رویکرد شپلی، محققان توانستند یک رتبه‌بندی اهمیت برای منابع داده‌ای مختلف (بنیادی، بازار و قیمت‌گذاری) ایجاد کنند. این امر به درک بهتر این موضوع کمک می‌کند که کدام دسته از اطلاعات بیشترین تأثیر را بر ریسک نکول شرکت‌های با سرمایه متوسط دارند. به عنوان مثال، ممکن است داده‌های بازار در کوتاه‌مدت اهمیت بیشتری داشته باشند، در حالی که داده‌های بنیادی برای پیش‌بینی‌های بلندمدت‌تر حیاتی‌تر باشند.
• کشف روابط زمانی: مدل پیشنهادی همچنین قابلیت کشف روابط زمانی پیچیده بین داده‌ها را دارد. این به معنای آن است که مدل می‌تواند تشخیص دهد که چگونه رویدادهای مالی در گذشته (مثلاً نوسانات قیمت سهام در سه ماه گذشته یا تغییرات نسبت بدهی در سال گذشته) بر احتمال نکول در آینده تأثیر می‌گذارند. این بینش‌ها فراتر از صرفاً شناسایی عوامل ثابت ریسک بوده و به پویایی ریسک اعتباری می‌پردازد.
• تفسیرپذیری از طریق نقشه‌های حرارتی توجه: نقشه‌های حرارتی توجه نشان می‌دهند که مدل در هر لحظه بر کدام بخش از سری زمانی ورودی تمرکز می‌کند. این ویژگی، امکان درک منطق درونی مدل را فراهم می‌آورد و به تحلیل‌گران اجازه می‌دهد تا ببینند چرا یک پیش‌بینی خاص انجام شده است، که برای اتخاذ تصمیمات مهم در حوزه مالی بسیار ضروری است. به عنوان مثال، یک نقشه حرارتی ممکن است نشان دهد که مدل به طور خاص به یک کاهش ناگهانی در جریان نقدی یا یک افزایش غیرمعمول در نسبت بدهی در یک دوره زمانی خاص، توجه ویژه‌ای داشته است.

به طور خلاصه، این یافته‌ها تأکید می‌کنند که مدل‌های ترانسفورمر می‌توانند به طور موثری برای مدل‌سازی ریسک اعتباری در محیط‌های پیچیده مالی مورد استفاده قرار گیرند و عملکردی به مراتب بهتر از روش‌های سنتی ارائه دهند، ضمن اینکه بینش‌های قابل تفسیر و ارزشمندی را نیز فراهم می‌آورند.

دستاوردهای این پژوهش، کاربردهای عملی گسترده‌ای در صنعت مالی و حوزه‌های مرتبط دارد و می‌تواند به طور قابل توجهی بر نحوه مدیریت ریسک اعتباری تأثیر بگذارد:

• بهبود مدیریت ریسک در نهادهای مالی: بانک‌ها، صندوق‌های سرمایه‌گذاری، شرکت‌های مدیریت دارایی و شرکت‌های بیمه می‌توانند از این مدل برای ارزیابی دقیق‌تر ریسک نکول شرکت‌های با سرمایه متوسط در پورتفولیوهای خود استفاده کنند. این امر منجر به تصمیمات وام‌دهی و سرمایه‌گذاری آگاهانه‌تر، کاهش زیان‌های احتمالی و بهینه‌سازی تخصیص سرمایه می‌شود.
• سیستم‌های هشدار زودهنگام: قابلیت پیش‌بینی ساختار زمانی احتمال نکول در میان‌مدت، این مدل را به یک ابزار قدرتمند برای ایجاد سیستم‌های هشدار زودهنگام تبدیل می‌کند. نهادها می‌توانند با شناسایی به موقع شرکت‌های در معرض خطر نکول، اقدامات پیشگیرانه انجام دهند و استراتژی‌های خروج یا تعدیل سرمایه‌گذاری را فعال کنند.
• توسعه استراتژی‌های سرمایه‌گذاری: سرمایه‌گذاران می‌توانند با استفاده از بینش‌های مدل در مورد اهمیت منابع داده‌ای و روابط زمانی، استراتژی‌های سرمایه‌گذاری خود را بهبود بخشند. به عنوان مثال، ممکن است برخی سرمایه‌گذاران بر شرکت‌هایی با پروفایل ریسک پایین‌تر تمرکز کنند، در حالی که دیگران با درک عمیق‌تر از ریسک، به دنبال فرصت‌های پرریسک‌تر اما با بازده بالاتر باشند.
• افزایش شفافیت و اعتماد: قابلیت تفسیرپذیری مدل از طریق نقشه‌های حرارتی توجه و رویکرد شپلی، به تحلیل‌گران و مدیران امکان می‌دهد تا “چرا” ی پشت پیش‌بینی‌های مدل را درک کنند. این شفافیت برای پذیرش مدل‌های یادگیری عمیق در یک حوزه بسیار حساس مانند مالی، حیاتی است و به افزایش اعتماد به سیستم‌های خودکار کمک می‌کند. این امر همچنین در مواجهه با مقررات نظارتی که اغلب نیاز به توضیح‌پذیری دارند، مفید است.
• پتانسیل برای کاربردهای دیگر: این چارچوب می‌تواند فراتر از پیش‌بینی نکول برای شرکت‌های با سرمایه متوسط گسترش یابد. محققان و متخصصان می‌توانند آن را برای پیش‌بینی ریسک در سایر دسته‌های دارایی (مانند اوراق قرضه دولتی، اعتبارات مصرف‌کننده) یا برای تحلیل سایر رویدادهای مالی (مانند تغییرات رتبه اعتباری، نوسانات بازار) تطبیق دهند.
• پیشرفت در حوزه یادگیری ماشین مالی: این مقاله نشان می‌دهد که چگونه مدل‌های پیشرفته یادگیری عمیق که در ابتدا برای حوزه‌های دیگر توسعه یافته‌اند (مانند NLP)، می‌توانند با موفقیت به مسائل پیچیده مالی منتقل و تطبیق داده شوند. این امر راه را برای نوآوری‌های بیشتر در تقاطع هوش مصنوعی و امور مالی هموار می‌کند.

به طور کلی، دستاوردهای این مطالعه نه تنها به بهبود دقت پیش‌بینی ریسک اعتباری کمک می‌کند، بلکه ابزارهایی قدرتمند برای درک بهتر عوامل ریسک و اتخاذ تصمیمات مالی هوشمندانه‌تر را در اختیار فعالان بازار قرار می‌دهد.

مقاله “یک مدل ترانسفورمر برای پیش‌بینی نکول در بازارهای شرکتی با سرمایه متوسط” گام مهمی در جهت بهبود مدل‌سازی ریسک اعتباری، به ویژه برای بخش اغلب نادیده گرفته شده شرکت‌های با سرمایه متوسط، برداشته است. با فرموله کردن مسئله به عنوان یک چالش طبقه‌بندی سری‌های زمانی چندبرچسبی و تطبیق ماهرانه مدل‌های ترانسفورمر که از حوزه پردازش زبان طبیعی نشأت می‌گیرند، نویسندگان توانستند بر محدودیت‌های روش‌های سنتی غلبه کنند.

نوآوری‌های کلیدی این تحقیق شامل توسعه یک تابع هزینه سفارشی و یک معماری چندکاناله نوین با آموزش دیفرانسیلی است که به مدل امکان می‌دهد از تمام داده‌های ورودی (بنیادی، بازار، قیمت‌گذاری) به طور کارآمد و جامع استفاده کند. این رویکرد، منجر به افزایش چشمگیر ۱۳ درصدی در معیار AUC نسبت به مدل‌های مرسوم شده است که دال بر توانایی فوق‌العاده مدل پیشنهادی در تفکیک شرکت‌های نکول‌کننده از شرکت‌های پایدار است.

علاوه بر عملکرد برتر، این پژوهش بر اهمیت تفسیرپذیری در مدل‌های یادگیری عمیق مالی تأکید می‌کند. استفاده از نقشه‌های حرارتی توجه و رویکرد شپلی، بینش‌های ارزشمندی در مورد اینکه کدام منابع داده‌ای و کدام روابط زمانی بیشترین تأثیر را بر پیش‌بینی نکول دارند، ارائه می‌دهد. این قابلیت تفسیرپذیری برای اعتمادسازی و تصمیم‌گیری‌های آگاهانه در محیط‌های رگوله شده مالی حیاتی است.

کاربردهای این مدل فراتر از صرفاً بهبود پیش‌بینی است؛ این پژوهش ابزاری قدرتمند برای نهادهای مالی جهت مدیریت ریسک هوشمندانه‌تر، تخصیص بهینه سرمایه و ایجاد سیستم‌های هشدار زودهنگام فراهم می‌آورد. همچنین، راه را برای ادغام عمیق‌تر و خلاقانه‌تر هوش مصنوعی پیشرفته با مسائل پیچیده در حوزه مالی باز می‌کند.

در نهایت، این مقاله نه تنها یک راه‌حل کارآمد برای یک مشکل مهم مالی ارائه می‌دهد، بلکه نمونه‌ای درخشان از پتانسیل بالای یادگیری عمیق در فهم و مدیریت پیچیدگی‌های بازارهای مالی است. تحقیقات آتی می‌تواند این چارچوب را برای بررسی سایر حوزه‌های ریسک، مقیاس‌پذیری بیشتر در بازارهای جهانی و ادغام با منابع داده‌ای غیرسنتی (مانند داده‌های متنی از گزارش‌های شرکت‌ها یا شبکه‌های اجتماعی) گسترش دهد.