ترجمه فارسی مقاله توجه خطی در پیش بینی مکانی-زمانی کافی است

چکیده

As the most representative scenario of spatial-temporal forecasting tasks, the traffic forecasting task attracted numerous attention from machine learning community due to its intricate correlation both in space and time dimension. Existing methods often treat road networks over time as spatial-temporal graphs, addressing spatial and temporal representations independently. However, these approaches struggle to capture the dynamic topology of road networks, encounter issues with message passing mechanisms and over-smoothing, and face challenges in learning spatial and temporal relationships separately. To address these limitations, we propose treating nodes in road networks at different time steps as independent spatial-temporal tokens and feeding them into a vanilla Transformer to learn complex spatial-temporal patterns, design \textbf{STformer} achieving SOTA. Given its quadratic complexity, we introduce a variant \textbf{NSTformer} based on Nystr$\ddot{o}$m method to approximate self-attention with linear complexity but even slightly better than former in a few cases astonishingly. Extensive experimental results on traffic datasets demonstrate that the proposed method achieves state-of-the-art performance at an affordable computational cost. Our code is available at \href{https://github.com/XinyuNing/STformer-and-NSTformer}{https://github.com/XinyuNing/STformer-and-NSTformer}.

چکیده به فارسی (ترجمه ماشینی)

به عنوان نماینده ترین سناریوی وظایف پیش بینی مکانی و زمانی ، کار پیش بینی ترافیک به دلیل همبستگی پیچیده آن در فضا و بعد زمان ، توجه بی شماری را از جامعه یادگیری ماشین به خود جلب کرد.روشهای موجود غالباً با گذشت زمان شبکه های جاده ای را به عنوان نمودارهای مکانی-زمانی درمان می کنند و به طور مستقل به بازنمایی های مکانی و زمانی می پردازند.با این حال ، این رویکردها برای ضبط توپولوژی پویا شبکه های جاده ای ، مواجهه با مکانیسم های عبور پیام و بیش از حد صاف ، تلاش می کنند و در یادگیری روابط مکانی و زمانی به طور جداگانه با چالش هایی روبرو می شوند.برای پرداختن به این محدودیت ها ، ما پیشنهاد می کنیم گره ها را در شبکه های جاده ای در مراحل مختلف زمانی به عنوان نشانه های مکانی و مکانی مستقل و تغذیه آنها به یک ترانسفورماتور وانیلی برای یادگیری الگوهای پیچیده مکانی و زمانی ، طراحی \ textbf {stormer} دستیابی به SOTA پیشنهاد کنیم.با توجه به پیچیدگی درجه دوم آن ، ما یک نوع \ textbf {nstformer} را بر اساس روش nystr $ \ ddot {o} $ m برای تقریب توجه خود با پیچیدگی خطی اما حتی کمی بهتر از سابق در چند مورد به طرز حیرت انگیزی معرفی می کنیم.نتایج تجربی گسترده در مجموعه داده های راهنمایی و رانندگی نشان می دهد که روش پیشنهادی با هزینه محاسباتی مقرون به صرفه به عملکرد پیشرفته می رسد.کد ما در \ href {https://github.com/xinyuning/stformer-nstformer} {https://github.com/xinyuning/stformer-and-nstformer} در دسترس است.