ترجمه فارسی مقاله پلوتوس: یک ترانسفورماتور بزرگ یکپارچه از قبل آموزش دیده می تواند از منظم سری زمانی مالی رونمایی کند

چکیده

Financial time series modeling is crucial for understanding and predicting market behaviors but faces challenges such as non-linearity, non-stationarity, and high noise levels. Traditional models struggle to capture complex patterns due to these issues, compounded by limitations in computational resources and model capacity. Inspired by the success of large language models in NLP, we introduce $\textbf{PLUTUS}$, a $\textbf{P}$re-trained $\textbf{L}$arge $\textbf{U}$nified $\textbf{T}$ransformer-based model that $\textbf{U}$nveils regularities in financial time $\textbf{S}$eries. PLUTUS uses an invertible embedding module with contrastive learning and autoencoder techniques to create an approximate one-to-one mapping between raw data and patch embeddings. TimeFormer, an attention based architecture, forms the core of PLUTUS, effectively modeling high-noise time series. We incorporate a novel attention mechanisms to capture features across both variable and temporal dimensions. PLUTUS is pre-trained on an unprecedented dataset of 100 billion observations, designed to thrive in noisy financial environments. To our knowledge, PLUTUS is the first open-source, large-scale, pre-trained financial time series model with over one billion parameters. It achieves state-of-the-art performance in various tasks, demonstrating strong transferability and establishing a robust foundational model for finance. Our research provides technical guidance for pre-training financial time series data, setting a new standard in the field.

چکیده به فارسی (ترجمه ماشینی)

مدل سازی سری زمانی مالی برای درک و پیش بینی رفتارهای بازار بسیار مهم است اما با چالش هایی مانند غیرخطی بودن ، عدم استقرار و سطح سر و صدای زیاد روبرو است.مدلهای سنتی به دلیل این مسائل ، که با محدودیت در منابع محاسباتی و ظرفیت مدل همراه است ، برای ضبط الگوهای پیچیده تلاش می کنند.با الهام از موفقیت مدلهای بزرگ زبان در NLP ، ما $ \ textbf {plutus} $ را معرفی می کنیم ، $ \ textbf {p} $ دوباره آموزش داده \ textBf {l} $ $ \ textBf {u} $ $ $ \ $ \TextBf {t} $ مدل مبتنی بر ransformer که $ \ textbf {u} $ nveils منظم در زمان مالی $ \ textbf {s} $ eries.پلوتوس از یک ماژول تعبیه شده غیرقابل برگشت با تکنیک های یادگیری متضاد و AutoEncoder برای ایجاد یک نقشه برداری تقریبی یک به یک بین داده های خام و تعبیه های پچ استفاده می کند.TimeFormer ، یک معماری مبتنی بر توجه ، هسته پلوتوس را تشکیل می دهد ، و به طور موثری از سری زمانی نویز بالا مدل می کند.ما یک مکانیسم توجه جدید را برای ضبط ویژگی ها در هر دو ابعاد متغیر و زمانی گنجانده ایم.پلوتوس در یک مجموعه داده بی سابقه از 100 میلیارد مشاهده ، طراحی شده است که به منظور شکوفایی در محیط های مالی پر سر و صدا طراحی شده است.به دانش ما ، پلوتوس اولین مدل سری زمانی مالی از قبل آموزش دیده و از قبل آموزش دیده با بیش از یک میلیارد پارامتر است.این کار در کارهای مختلف به عملکرد پیشرفته می رسد ، قابلیت انتقال قوی و ایجاد یک مدل بنیادی قوی برای امور مالی را نشان می دهد.تحقیقات ما راهنمایی فنی را برای داده های سری زمانی مالی قبل از آموزش ارائه می دهد و استاندارد جدیدی را در این زمینه تعیین می کند.