ترجمه فارسی مقاله PRformer: ترانسفورماتور بازگشتی هرمی برای پیش بینی سری های زمانی چند متغیره

چکیده

The self-attention mechanism in Transformer architecture, invariant to sequence order, necessitates positional embeddings to encode temporal order in time series prediction. We argue that this reliance on positional embeddings restricts the Transformer’s ability to effectively represent temporal sequences, particularly when employing longer lookback windows. To address this, we introduce an innovative approach that combines Pyramid RNN embeddings(PRE) for univariate time series with the Transformer’s capability to model multivariate dependencies. PRE, utilizing pyramidal one-dimensional convolutional layers, constructs multiscale convolutional features that preserve temporal order. Additionally, RNNs, layered atop these features, learn multiscale time series representations sensitive to sequence order. This integration into Transformer models with attention mechanisms results in significant performance enhancements. We present the PRformer, a model integrating PRE with a standard Transformer encoder, demonstrating state-of-the-art performance on various real-world datasets. This performance highlights the effectiveness of our approach in leveraging longer lookback windows and underscores the critical role of robust temporal representations in maximizing Transformer’s potential for prediction tasks. Code is available at this repository: \url{https://github.com/usualheart/PRformer}.

چکیده به فارسی (ترجمه ماشینی)

مکانیسم خودآگاهی در معماری ترانسفورماتور ، متغیر به ترتیب توالی ، نیاز به تعبیه های موقعیتی برای رمزگذاری ترتیب زمانی در پیش بینی سری زمانی دارد.ما استدلال می کنیم که این اعتماد به جاسازی های موقعیتی ، توانایی ترانسفورماتور را در نمایش موثر توالی های زمانی ، به ویژه هنگام استفاده از پنجره های طولانی تر ، محدود می کند.برای پرداختن به این موضوع ، ما یک رویکرد نوآورانه را معرفی می کنیم که ترکیبی از تعبیه RNN هرمی (PRE) برای سری زمانی یک متغیره با توانایی ترانسفورماتور برای مدل سازی وابستگی های چند متغیره است.پیش ، با استفاده از لایه های همبستگی یک بعدی هرمی ، ویژگی های همخوانی چند طبقه ای را ایجاد می کند که نظم زمانی را حفظ می کنند.علاوه بر این ، RNN ها ، که در بالای این ویژگی ها قرار دارند ، بازنمودهای سری زمانی چند مقیاس را به ترتیب دنباله حساس می آموزند.این ادغام در مدل های ترانسفورماتور با مکانیسم های توجه منجر به پیشرفت عملکرد قابل توجهی می شود.ما PrFormer را ارائه می دهیم ، مدلی که PRE را با یک رمزگذار ترانسفورماتور استاندارد ادغام می کند و عملکرد پیشرفته ای را در مجموعه داده های مختلف در دنیای واقعی نشان می دهد.این عملکرد اثربخشی رویکرد ما را در استفاده از ویندوزهای برگشت طولانی تر برجسته می کند و نقش اساسی بازنمایی های زمانی قوی را در به حداکثر رساندن پتانسیل ترانسفورماتور برای کارهای پیش بینی تأکید می کند.کد در این مخزن موجود است: \ url {https://github.com/usualheart/prformer.