ترجمه فارسی مقاله sTransformer: یک رویکرد مدولار برای استخراج اطلاعات بین ترتیبی و زمانی برای پیش بینی سری های زمانی

چکیده

In recent years, numerous Transformer-based models have been applied to long-term time-series forecasting (LTSF) tasks. However, recent studies with linear models have questioned their effectiveness, demonstrating that simple linear layers can outperform sophisticated Transformer-based models. In this work, we review and categorize existing Transformer-based models into two main types: (1) modifications to the model structure and (2) modifications to the input data. The former offers scalability but falls short in capturing inter-sequential information, while the latter preprocesses time-series data but is challenging to use as a scalable module. We propose $\textbf{sTransformer}$, which introduces the Sequence and Temporal Convolutional Network (STCN) to fully capture both sequential and temporal information. Additionally, we introduce a Sequence-guided Mask Attention mechanism to capture global feature information. Our approach ensures the capture of inter-sequential information while maintaining module scalability. We compare our model with linear models and existing forecasting models on long-term time-series forecasting, achieving new state-of-the-art results. We also conducted experiments on other time-series tasks, achieving strong performance. These demonstrate that Transformer-based structures remain effective and our model can serve as a viable baseline for time-series tasks.

چکیده به فارسی (ترجمه ماشینی)

در سالهای اخیر ، بسیاری از مدلهای مبتنی بر ترانسفورماتور در مورد وظایف پیش بینی سری زمانی بلند مدت (LTSF) اعمال شده است.با این حال ، مطالعات اخیر با مدلهای خطی ، اثربخشی آنها را زیر سوال برده است ، نشان می دهد که لایه های خطی ساده می توانند از مدل های پیشرفته مبتنی بر ترانسفورماتور بهتر عمل کنند.در این کار ، ما مدلهای مبتنی بر ترانسفورماتور موجود را به دو نوع اصلی بررسی و طبقه بندی می کنیم: (1) اصلاح در ساختار مدل و (2) اصلاحات در داده های ورودی.اولی مقیاس پذیری را ارائه می دهد اما در گرفتن اطلاعات بین دنباله ای کوتاه است ، در حالی که دومی داده های سری زمانی را از پیش پردازش می کند اما استفاده از آن به عنوان یک ماژول مقیاس پذیر چالش برانگیز است.ما $ \ textbf {stransformer} $ را پیشنهاد می کنیم ، که دنباله و شبکه حلقوی موقتی (STCN) را معرفی می کند تا اطلاعات متوالی و زمانی را به طور کامل ضبط کند.علاوه بر این ، ما یک مکانیسم توجه ماسک با هدایت توالی را برای ضبط اطلاعات ویژگی جهانی معرفی می کنیم.رویکرد ما ضمن حفظ مقیاس پذیری ماژول ، ضبط اطلاعات بین توالی را تضمین می کند.ما مدل خود را با مدل های خطی و مدل های پیش بینی موجود در پیش بینی سری زمانی بلند مدت مقایسه می کنیم و به نتایج جدید و پیشرفته ای می رسیم.ما همچنین آزمایشاتی را در مورد سایر کارهای سری زمانی انجام دادیم که به عملکرد قوی رسیدیم.اینها نشان می دهد که ساختارهای مبتنی بر ترانسفورماتور مؤثر هستند و مدل ما می تواند به عنوان یک پایه مناسب برای کارهای سری زمانی عمل کند.