ترجمه فارسی مقاله DRFormer: ترانسفورماتور چند مقیاسی با استفاده از میدان‌های گیرنده متنوع برای پیش‌بینی سری‌های زمانی طولانی

چکیده

Long-term time series forecasting (LTSF) has been widely applied in finance, traffic prediction, and other domains. Recently, patch-based transformers have emerged as a promising approach, segmenting data into sub-level patches that serve as input tokens. However, existing methods mostly rely on predetermined patch lengths, necessitating expert knowledge and posing challenges in capturing diverse characteristics across various scales. Moreover, time series data exhibit diverse variations and fluctuations across different temporal scales, which traditional approaches struggle to model effectively. In this paper, we propose a dynamic tokenizer with a dynamic sparse learning algorithm to capture diverse receptive fields and sparse patterns of time series data. In order to build hierarchical receptive fields, we develop a multi-scale Transformer model, coupled with multi-scale sequence extraction, capable of capturing multi-resolution features. Additionally, we introduce a group-aware rotary position encoding technique to enhance intra- and inter-group position awareness among representations across different temporal scales. Our proposed model, named DRFormer, is evaluated on various real-world datasets, and experimental results demonstrate its superiority compared to existing methods. Our code is available at: https://github.com/ruixindingECNU/DRFormer.

چکیده به فارسی (ترجمه ماشینی)

پیش بینی سری زمانی طولانی مدت (LTSF) به طور گسترده ای در امور مالی ، پیش بینی ترافیک و سایر حوزه ها اعمال شده است.به تازگی ، ترانسفورماتورهای مبتنی بر پچ به عنوان یک رویکرد امیدوارکننده ظاهر شده اند و داده ها را در تکه های زیر سطح قرار می دهند که به عنوان نشانه های ورودی عمل می کنند.با این حال ، روشهای موجود بیشتر به طول پچ از پیش تعیین شده متکی هستند ، نیاز به دانش متخصص و ایجاد چالش در گرفتن ویژگی های متنوع در مقیاس های مختلف دارند.علاوه بر این ، داده های سری زمانی تغییرات و نوسانات متنوعی را در مقیاس های مختلف زمانی نشان می دهند ، که رویکردهای سنتی برای مدل سازی به طور مؤثر تلاش می کنند.در این مقاله ، ما یک توکن ساز پویا با یک الگوریتم یادگیری پراکنده پویا برای ضبط زمینه های گیرنده متنوع و الگوهای پراکنده داده های سری زمانی پیشنهاد می کنیم.به منظور ساختن زمینه های پذیرش سلسله مراتبی ، ما یک مدل ترانسفورماتور چند مقیاس ، همراه با استخراج توالی چند مقیاس ، قادر به ضبط ویژگی های چند وضوح ایجاد می کنیم.علاوه بر این ، ما یک تکنیک رمزگذاری موقعیت دوار آگاهانه گروهی را برای تقویت آگاهی موقعیت داخل و بین گروهی در بین بازنمایی ها در مقیاس های مختلف زمانی معرفی می کنیم.مدل پیشنهادی ما ، به نام Drformer ، در مجموعه داده های مختلف در دنیای واقعی ارزیابی می شود ، و نتایج تجربی برتری آن را در مقایسه با روش های موجود نشان می دهد.کد ما در: https://github.com/ruixindingecnu/drformer در دسترس است.