با پیشرفت‌های شگرف هوش مصنوعی در دهه‌های اخیر، شاهد تحولات عمیقی در حوزه‌های مختلف علمی و صنعتی هستیم. یکی از چالش‌برانگیزترین و در عین حال جذاب‌ترین کاربردهای این فناوری، پیش‌بینی سری‌های زمانی، به ویژه در بازارهای مالی است. بازارهای مالی با نوسانات شدید، حجم بالای داده، و پیچیدگی‌های ذاتی خود، همواره محکی برای سنجش توانایی مدل‌های پیشرفته بوده‌اند. در این میان، دو معماری شبکه عصبی به نام‌های شبکه‌های حافظه کوتاه-مدت بلند (LSTM) و ترانسفورمرها (Transformers)، به عنوان قدرتمندترین ابزارها برای تحلیل و پیش‌بینی داده‌های دنباله‌ای مطرح شده‌اند.

مقاله حاضر با عنوان “ترانسفورمرها در برابر LSTMها برای معاملات الکترونیکی” به مقایسه‌ای عمیق و کاربردی میان این دو معماری می‌پردازد. هدف اصلی این تحقیق، پاسخ به این پرسش حیاتی است که آیا مدل‌های مبتنی بر ترانسفورمر که موفقیت‌های چشمگیری در پردازش زبان طبیعی (NLP) کسب کرده‌اند، می‌توانند در پیش‌بینی سری‌های زمانی مالی نیز عملکردی بهتر از LSTMها ارائه دهند و جایگاه مسلط آن‌ها را به چالش بکشند؟ اهمیت این پژوهش در آن است که با ارائه بینش‌های عملی درباره کارایی این مدل‌ها، می‌تواند مسیر را برای طراحی سیستم‌های معاملاتی الکترونیکی هوشمندتر، دقیق‌تر و در نهایت سودآورتر هموار سازد. در دنیای پرسرعت معاملات الکترونیکی، حتی یک برتری کوچک در دقت پیش‌بینی می‌تواند منجر به مزایای رقابتی بزرگی شود.

نویسندگان و زمینه تحقیق

این مقاله توسط دو پژوهشگر برجسته، Paul Bilokon و Yitao Qiu، به رشته تحریر درآمده است. تخصص و پیشینه علمی نویسندگان در حوزه‌هایی چون معاملات و ریزساختار بازار (Trading and Market Microstructure)، یادگیری ماشین (Machine Learning)، اقتصادسنجی (Econometrics) و مالیه آماری (Statistical Finance)، اعتبار ویژه‌ای به یافته‌های این مطالعه می‌بخشد. این حوزه‌ها ارتباط تنگاتنگی با یکدیگر دارند و ترکیب آن‌ها برای درک پیچیدگی‌های بازارهای مالی و توسعه مدل‌های پیش‌بینی قدرتمند، ضروری است.

زمینه تحقیق، در قلب تقاطع هوش مصنوعی و بازارهای مالی قرار دارد. با ظهور و تکامل سریع الگوریتم‌های معاملاتی، نیاز به مدل‌هایی که بتوانند الگوهای پنهان در داده‌های مالی پرحجم و پرسرعت را شناسایی کنند، افزایش یافته است. در گذشته، مدل‌های اقتصادسنجی سنتی و سپس شبکه‌های عصبی بازگشتی (RNN) و به ویژه LSTMها، پیشرو این حوزه بودند. اما موفقیت بی‌سابقه ترانسفورمرها در NLP، که ماهیتی دنباله‌ای دارد، محققان را به سمت بررسی قابلیت‌های آن در سایر سری‌های زمانی، از جمله سری‌های مالی سوق داده است. این مقاله در واقع به مقایسه دو پارادایم غالب در مدل‌سازی دنباله‌ای می‌پردازد و سعی دارد بهترین رویکرد را برای یکی از چالش‌برانگیزترین مسائل یعنی پیش‌بینی قیمت در معاملات الکترونیکی مشخص کند.

چکیده و خلاصه محتوا

با توسعه سریع هوش مصنوعی، مدل‌های LSTM که نوعی از شبکه‌های عصبی بازگشتی (RNN) هستند، کاربرد گسترده‌ای در پیش‌بینی سری‌های زمانی پیدا کرده‌اند. ترانسفورمرها نیز مانند RNNها، برای پردازش داده‌های دنباله‌ای طراحی شده‌اند. از آنجایی که ترانسفورمرها موفقیت‌های چشمگیری در پردازش زبان طبیعی (NLP) کسب کرده‌اند، پژوهشگران به عملکرد آن‌ها در پیش‌بینی سری‌های زمانی علاقه‌مند شده‌اند و اخیراً راه‌حل‌های بسیاری مبتنی بر ترانسفورمر برای پیش‌بینی سری‌های زمانی طولانی ارائه شده است.

با این حال، در زمینه پیش‌بینی سری‌های زمانی مالی، LSTM همچنان یک معماری غالب محسوب می‌شود. به همین دلیل، سوال اصلی این مطالعه این است: آیا مدل‌های مبتنی بر ترانسفورمر می‌توانند در پیش‌بینی سری‌های زمانی مالی به کار گرفته شوند و عملکردی بهتر از LSTM ارائه دهند؟

برای پاسخ به این سوال، مدل‌های مختلف مبتنی بر LSTM و ترانسفورمر در چندین وظیفه پیش‌بینی مالی، بر اساس داده‌های دفتر سفارش با فرکانس بالا (high-frequency limit order book data) مورد مقایسه قرار گرفته‌اند. در این راستا، یک مدل جدید مبتنی بر LSTM به نام DLSTM ساخته شده و یک معماری جدید برای مدل مبتنی بر ترانسفورمر نیز طراحی شده است تا با پیش‌بینی مالی سازگار شود.

نتایج آزمایش نشان می‌دهد که مدل مبتنی بر ترانسفورمر تنها در پیش‌بینی دنباله قیمت مطلق مزیت محدودی دارد. در مقابل، مدل‌های مبتنی بر LSTM عملکرد بهتر و قوی‌تری را در پیش‌بینی دنباله تفاوت‌ها، مانند تفاوت قیمت و حرکت قیمت، از خود نشان می‌دهند. این نتیجه بسیار مهم است و نشان می‌دهد که با وجود شهرت ترانسفورمرها، در حوزه خاص مالی، LSTMها هنوز برتری خود را حفظ کرده‌اند، به ویژه در سناریوهایی که پیش‌بینی تغییرات و جهت‌گیری‌ها اهمیت بیشتری نسبت به پیش‌بینی نقطه دقیق قیمت دارد.

روش‌شناسی تحقیق

پژوهشگران برای مقایسه دقیق و عادلانه LSTM و ترانسفورمر، یک رویکرد روش‌شناختی جامع را اتخاذ کرده‌اند که شامل چندین عنصر کلیدی است:

• داده‌های مالی با فرکانس بالا: محور اصلی این مطالعه، استفاده از داده‌های دفتر سفارش با فرکانس بالا (High-Frequency Limit Order Book Data) است. این نوع داده‌ها، جزئیات هر سفارش خرید و فروش، قیمت و حجم آن را در لحظه ثبت می‌کنند و اطلاعات بسیار دقیقی از ریزساختار بازار (market microstructure) و تعاملات خریداران و فروشندگان فراهم می‌آورند. داده‌های LOB برای معاملات الکترونیکی و الگوریتمی حیاتی هستند، زیرا امکان تحلیل الگوهای سفارشات، عدم تعادل بین عرضه و تقاضا، و پیش‌بینی حرکات قیمتی کوتاه‌مدت را فراهم می‌کنند. انتخاب این داده‌ها نشان از عمق و کاربردی بودن تحقیق در فضای معاملات واقعی دارد.

• مدل‌های مبتنی بر LSTM:

  • مدل‌های استاندارد LSTM: به عنوان پایه و اساس مقایسه، از پیاده‌سازی‌های رایج LSTM برای استخراج الگوهای زمانی استفاده شده است.
  • DLSTM (Deep LSTM): پژوهشگران یک مدل LSTM جدید با نام DLSTM را توسعه داده‌اند. این مدل احتمالاً با افزایش عمق شبکه (یعنی استفاده از چندین لایه LSTM) یا بهینه‌سازی‌های خاص برای ویژگی‌های داده‌های مالی طراحی شده است. تمرکز بر عمق شبکه می‌تواند به DLSTM کمک کند تا روابط غیرخطی پیچیده‌تر و سلسله مراتبی را در داده‌های مالی درک کند.

• مدل‌های مبتنی بر ترانسفورمر:

  • مدل‌های استاندارد ترانسفورمر: نسخه‌های متعارف ترانسفورمرها نیز برای ارزیابی اولیه به کار گرفته شده‌اند.
  • معماری ترانسفورمر سازگارشده: یک معماری جدید برای ترانسفورمرها طراحی شده است تا با چالش‌های خاص پیش‌بینی مالی، مانند نویز بالا، عدم ایستایی، و اهمیت اطلاعات ترتیب سفارشات، سازگار شود. این سازگاری ممکن است شامل تغییر در مکانیسم‌های توجه (attention mechanisms)، روش‌های کدگذاری موقعیتی (positional encoding) یا ترکیب با لایه‌های ورودی و خروجی خاص باشد که برای داده‌های مالی بهینه شده‌اند. این گام نشان‌دهنده تلاش برای اعطای “شانس عادلانه” به ترانسفورمرها در مواجهه با ماهیت منحصربه‌فرد داده‌های مالی است.

• وظایف پیش‌بینی مالی: مقایسه مدل‌ها در دو نوع وظیفه پیش‌بینی کلیدی انجام شده است:

  • پیش‌بینی دنباله قیمت مطلق: هدف در این وظیفه، پیش‌بینی دقیق قیمت آتی یک دارایی است. به عنوان مثال، پیش‌بینی قیمت دقیق سهمی در ۵ ثانیه آینده. این وظیفه بسیار چالش‌برانگیز است، زیرا حتی یک انحراف کوچک می‌تواند منجر به ضررهای قابل توجهی شود.
  • پیش‌بینی دنباله تفاوت‌ها: این شامل پیش‌بینی تفاوت قیمت (price difference) و حرکت قیمت (price movement) است. به عنوان مثال، پیش‌بینی اینکه آیا قیمت در دوره زمانی بعدی افزایش خواهد یافت، کاهش خواهد یافت یا بدون تغییر باقی خواهد ماند (حرکت قیمت)، و یا پیش‌بینی مقدار تغییر قیمت (تفاوت قیمت). این نوع پیش‌بینی برای استراتژی‌های معاملاتی که به جهت‌گیری بازار یا میزان نوسان اهمیت می‌دهند، بسیار کاربردی است.

• متریک‌های ارزیابی: عملکرد مدل‌ها بر اساس دقت، پایداری (robustness) و توانایی آن‌ها در تعمیم به داده‌های دیده نشده ارزیابی شده است. این رویکرد تضمین می‌کند که صرفاً دقت عددی مورد توجه قرار نگرفته، بلکه توانایی مدل در مواجهه با شرایط متغیر بازار نیز سنجیده شود.

با این روش‌شناسی دقیق، پژوهشگران توانستند به تحلیل عمیقی از قابلیت‌های هر دو معماری در زمینه پیش‌بینی مالی دست یابند و بینش‌های ارزشمندی را ارائه دهند.

یافته‌های کلیدی

نتایج حاصل از مقایسه جامع مدل‌های مبتنی بر LSTM و ترانسفورمر، چندین بینش مهم و تا حدی غیرمنتظره را آشکار ساخته است:

• مزیت محدود ترانسفورمر در پیش‌بینی قیمت مطلق: یکی از یافته‌های اصلی این است که مدل‌های مبتنی بر ترانسفورمر، تنها مزیت محدودی در پیش‌بینی دقیق دنباله قیمت مطلق نشان دادند. این مزیت، اگرچه وجود دارد، اما به اندازه‌ای چشمگیر نیست که ترانسفورمرها را به گزینه غالب و بی‌چون‌وچرای LSTM تبدیل کند. در محیط پرنویز و نامنظم بازارهای مالی، جایی که هر تغییر کوچک در قیمت می‌تواند ناشی از عوامل تصادفی و غیرقابل پیش‌بینی باشد، حتی پیشرفته‌ترین مدل‌ها نیز در پیش‌بینی نقطه دقیق قیمت آتی با چالش‌های جدی مواجه می‌شوند. این محدودیت می‌تواند ناشی از ماهیت مکانیسم توجه ترانسفورمرها باشد که شاید در مواجهه با نوسانات بسیار کوتاه‌مدت و پراکنده داده‌های مالی، به اندازه کافی کارآمد عمل نکند یا به داده‌های بسیار بیشتری برای یادگیری الگوهای معنادار نیاز داشته باشد.

• برتری و پایداری LSTM در پیش‌بینی دنباله تفاوت‌ها: در مقابل، نتایج به وضوح نشان داد که مدل‌های مبتنی بر LSTM، به ویژه مدل DLSTM طراحی شده در این مطالعه، عملکرد بهتر و پایداری (robustness) بیشتری را در پیش‌بینی دنباله تفاوت‌ها از خود نشان می‌دهند. این شامل پیش‌بینی تفاوت قیمت (مثلاً اینکه قیمت چقدر افزایش یا کاهش خواهد یافت) و حرکت قیمت (صرفاً جهت تغییر قیمت – بالا، پایین یا بدون تغییر) می‌شود.

  • توضیح پایداری LSTM: LSTMها به دلیل توانایی ذاتی خود در به خاطر سپردن وابستگی‌های طولانی‌مدت و فیلتر کردن نویز در سری‌های زمانی، برای این نوع وظایف بسیار مناسب هستند. در بازارهای مالی، اغلب پیش‌بینی جهت حرکت یا میزان تغییر مهم‌تر از پیش‌بینی قیمت دقیق است. برای مثال، یک معامله‌گر الگوریتمی ممکن است نیاز داشته باشد بداند که آیا قیمت در ۱۰ ثانیه آینده افزایش خواهد یافت تا یک موقعیت خرید باز کند، نه اینکه قیمت دقیقاً به چه عددی خواهد رسید. LSTMها در شناسایی الگوهایی که منجر به تغییرات جهت‌دار می‌شوند، کارآمدتر عمل می‌کنند.
  • مثال کاربردی: فرض کنید یک سیستم معاملاتی خودکار باید تصمیم بگیرد که آیا در ۵ دقیقه آینده یک سهام خاص را بخرد یا بفروشد. پیش‌بینی اینکه قیمت دقیقاً از ۱۰۰ دلار به ۱۰۰.۲۵ دلار خواهد رسید (پیش‌بینی قیمت مطلق) ممکن است سخت باشد. اما پیش‌بینی اینکه “قیمت تمایل به افزایش دارد” (پیش‌بینی حرکت قیمت) برای تصمیم‌گیری خرید کافی است. در این سناریو، LSTMها برتری خود را ثابت کرده‌اند.

این یافته‌ها حاکی از آن است که برای وظایف مختلف پیش‌بینی در معاملات الکترونیکی، باید مدل مناسب انتخاب شود. در حالی که ترانسفورمرها برای برخی مسائل دارای مزایایی هستند، LSTMها هنوز برای پیش‌بینی تغییرات و جهت‌گیری‌های بازار، که برای بسیاری از استراتژی‌های معاملاتی حیاتی است، حرف اول را می‌زنند.

کاربردها و دستاوردها

نتایج این پژوهش پیامدهای عملی گسترده‌ای برای صنعت مالی و به ویژه معاملات الکترونیکی دارد. درک دقیق‌تر از قابلیت‌های LSTM و ترانسفورمر می‌تواند به مهندسان و متخصصان کمی (Quant) کمک کند تا سیستم‌های معاملاتی کارآمدتری را طراحی و پیاده‌سازی کنند:

• معاملات الگوریتمی با فرکانس بالا (HFT):

  • بازارسازی (Market Making): برای استراتژی‌های بازارسازی که نیازمند پیش‌بینی‌های لحظه‌ای جهت حرکت قیمت برای تنظیم قیمت‌های پیشنهادی خرید و فروش هستند، مدل‌های LSTM می‌توانند ابزاری ارزشمند باشند. پایداری آن‌ها در پیش‌بینی تفاوت قیمت، امکان تنظیم سریع‌تر و دقیق‌تر اسپرد (spread) را فراهم می‌کند.
  • معاملات جهت‌دار (Directional Trading): معامله‌گرانی که بر اساس پیش‌بینی جهت حرکت قیمت اقدام به خرید یا فروش می‌کنند، می‌توانند از برتری LSTM در پیش‌بینی حرکت قیمت بهره‌مند شوند. این امر به شناسایی فرصت‌های معاملاتی کوتاه‌مدت کمک می‌کند.
  • شناسایی عدم تعادل دفتر سفارش: با استفاده از LSTM برای تحلیل داده‌های LOB، می‌توان عدم تعادل‌های لحظه‌ای بین سفارشات خرید و فروش را پیش‌بینی کرد که سیگنالی قوی برای حرکت قریب‌الوقوع قیمت است.

• مدیریت ریسک: با توانایی LSTM در پیش‌بینی تغییرات قیمت، می‌توان مدل‌های پیشرفته‌تری برای مدیریت ریسک توسعه داد. برای مثال، پیش‌بینی نوسانات شدید یا سقوط‌های ناگهانی قیمت (flash crashes) می‌تواند به سیستم‌ها کمک کند تا موقعیت‌های پرریسک را به سرعت تعدیل کنند.

• بهینه‌سازی پورتفولیو: حتی در مقیاس‌های زمانی طولانی‌تر، اطلاعات مربوط به پیش‌بینی حرکت قیمت می‌تواند به تصمیم‌گیری‌های هوشمندانه‌تر در مورد بازآرایی پورتفولیو و تخصیص دارایی‌ها کمک کند.

• دستاورد علمی و جهت‌گیری تحقیقات آینده: این مطالعه یک چارچوب مقایسه‌ای قوی را برای ارزیابی مدل‌های پیشرفته هوش مصنوعی در زمینه مالی ارائه می‌دهد. دستاورد آن تنها در مقایسه دو مدل نیست، بلکه در برجسته کردن ویژگی‌های خاص داده‌های مالی است که باعث می‌شود یک معماری بر دیگری برتری یابد. این تحقیق مسیر را برای مطالعات آینده هموار می‌کند تا به دنبال مدل‌های ترکیبی (Hybrid Models) باشند که بتوانند نقاط قوت هر دو معماری را برای حل پیچیده‌ترین مسائل مالی به کار گیرند. همچنین، ممکن است منجر به توسعه ترانسفورمرهای کاملاً جدیدی شود که به طور خاص برای ویژگی‌های داده‌های مالی بهینه شده‌اند، نه صرفاً اقتباس‌شده از NLP.

نتیجه‌گیری

مقاله “ترانسفورمرها در برابر LSTMها برای معاملات الکترونیکی” یک پژوهش محوری است که به بررسی عمیق و مقایسه‌ای دو معماری قدرتمند یادگیری عمیق، یعنی LSTM و ترانسفورمر، در زمینه پیش‌بینی سری‌های زمانی مالی می‌پردازد. با توجه به اهمیت روزافزون هوش مصنوعی در معاملات الکترونیکی و چالش‌های ذاتی پیش‌بینی در بازارهای مالی، این مطالعه به پرسشی حیاتی پاسخ می‌دهد: کدام یک از این دو مدل برای وظایف پیش‌بینی مالی مناسب‌تر است؟

یافته‌های کلیدی این تحقیق نشان داد که در حالی که مدل‌های مبتنی بر ترانسفورمر ممکن است مزیت محدودی در پیش‌بینی دقیق قیمت مطلق داشته باشند، مدل‌های مبتنی بر LSTM (به ویژه مدل DLSTM توسعه‌یافته در این مطالعه) عملکرد بهتر و بسیار پایدارتری در پیش‌بینی دنباله تفاوت‌ها از خود نشان می‌دهند، از جمله پیش‌بینی تفاوت قیمت و حرکت قیمت. این نتیجه اهمیت فوق‌العاده‌ای دارد، زیرا در بسیاری از استراتژی‌های معاملاتی، درک جهت حرکت بازار یا میزان تغییر، مهم‌تر از پیش‌بینی نقطه دقیق قیمت است.

این پژوهش به وضوح نشان می‌دهد که برتری یک مدل یادگیری عمیق تنها به معماری کلی آن بستگی ندارد، بلکه باید با توجه به خصوصیات خاص داده‌ها و اهداف وظیفه پیش‌بینی ارزیابی شود. در زمینه مالی، جایی که نویز بالا، عدم ایستایی و اهمیت روابط علّی کوتاه‌مدت حاکم است، LSTMها همچنان به عنوان ابزارهای بسیار قدرتمندی مطرح هستند.

برای آینده، این تحقیق مسیر را برای چندین جهت پژوهشی جدید هموار می‌کند:

• توسعه مدل‌های ترکیبی: می‌توان به دنبال ایجاد مدل‌های هیبریدی بود که نقاط قوت مکانیسم توجه ترانسفورمرها را با توانایی LSTM در مدل‌سازی وابستگی‌های زمانی محلی ترکیب کنند.
• ترانسفورمرهای تخصصی مالی: نیاز به طراحی معماری‌های ترانسفورمر اختصاصی برای داده‌های مالی، با در نظر گرفتن ویژگی‌هایی مانند عدم ایستایی و اهمیت ساختار دفتر سفارش، بیش از پیش احساس می‌شود.
• مهندسی ویژگی‌های پیشرفته: بررسی عمیق‌تر نقش مهندسی ویژگی‌ها و نحوه نمایش داده‌ها برای هر دو مدل می‌تواند به بهبود عملکرد کمک کند.

در نهایت، این مقاله یک مرجع ارزشمند برای پژوهشگران، توسعه‌دهندگان و متخصصان کمی در حوزه مالی است و بر اهمیت ارزیابی تجربی دقیق مدل‌های هوش مصنوعی در محیط پیچیده و دینامیک بازارهای مالی تاکید می‌کند. با ادامه پیشرفت‌ها در این زمینه، انتظار می‌رود شاهد توسعه نسل جدیدی از سیستم‌های معاملاتی هوشمند باشیم که قادر به بهره‌برداری هر چه بیشتر از قدرت یادگیری عمیق خواهند بود.