ترجمه فارسی مقاله ترانسفورماتور مقیاس‌پذیر برای پیش‌بینی سری‌های زمانی چند متغیره با ابعاد بالا

چکیده

Deep models for Multivariate Time Series (MTS) forecasting have recently demonstrated significant success. Channel-dependent models capture complex dependencies that channel-independent models cannot capture. However, the number of channels in real-world applications outpaces the capabilities of existing channel-dependent models, and contrary to common expectations, some models underperform the channel-independent models in handling high-dimensional data, which raises questions about the performance of channel-dependent models. To address this, our study first investigates the reasons behind the suboptimal performance of these channel-dependent models on high-dimensional MTS data. Our analysis reveals that two primary issues lie in the introduced noise from unrelated series that increases the difficulty of capturing the crucial inter-channel dependencies, and challenges in training strategies due to high-dimensional data. To address these issues, we propose STHD, the Scalable Transformer for High-Dimensional Multivariate Time Series Forecasting. STHD has three components: a) Relation Matrix Sparsity that limits the noise introduced and alleviates the memory issue; b) ReIndex applied as a training strategy to enable a more flexible batch size setting and increase the diversity of training data; and c) Transformer that handles 2-D inputs and captures channel dependencies. These components jointly enable STHD to manage the high-dimensional MTS while maintaining computational feasibility. Furthermore, experimental results show STHD’s considerable improvement on three high-dimensional datasets: Crime-Chicago, Wiki-People, and Traffic. The source code and dataset are publicly available https://github.com/xinzzzhou/ScalableTransformer4HighDimensionMTSF.git.

چکیده به فارسی (ترجمه ماشینی)

مدل های عمیق برای پیش بینی سری زمانی چند متغیره (MTS) اخیراً موفقیت قابل توجهی را نشان داده اند.مدل های وابسته به کانال وابستگی های پیچیده ای را ضبط می کنند که مدل های مستقل از کانال نمی توانند ضبط کنند.با این حال ، تعداد کانال ها در برنامه های کاربردی در دنیای واقعی از قابلیت های مدل های وابسته به کانال موجود است و برخلاف انتظارات متداول ، برخی از مدل ها مدلهای مستقل کانال را در رسیدگی به داده های با ابعاد بالا تحت فشار قرار می دهند ، که سؤالاتی درباره عملکرد کانال ایجاد می کندمدل های وابسته.برای پرداختن به این موضوع ، مطالعه ما ابتدا دلایل عملکرد زیر قطبی این مدلهای وابسته به کانال را در داده های MTS با ابعاد بالا بررسی می کند.تجزیه و تحلیل ما نشان می دهد که دو موضوع اصلی در سر و صدای معرفی شده از سری نامربوط نهفته است که باعث افزایش مشکل در گرفتن وابستگی های مهم بین کانال و چالش های استراتژی های آموزش به دلیل داده های با ابعاد بالا می شود.برای پرداختن به این موضوعات ، ما STHD ، ترانسفورماتور مقیاس پذیر برای پیش بینی سری زمانی چند متغیره بالا را پیشنهاد می کنیم.STHD دارای سه مؤلفه است: الف) ماتریس رابطه ای که سر و صدای معرفی شده را محدود می کند و مسئله حافظه را کاهش می دهد.ب) Reindex به عنوان یک استراتژی آموزشی برای فعال کردن تنظیم اندازه دسته ای انعطاف پذیر و افزایش تنوع داده های آموزشی اعمال می شود.و ج) ترانسفورماتوری که ورودی های 2-D را کنترل می کند و وابستگی های کانال را ضبط می کند.این مؤلفه ها به طور مشترک STHD را قادر می سازند تا ضمن حفظ امکان سنجی محاسباتی ، MT های با ابعاد بالا را مدیریت کنند.علاوه بر این ، نتایج تجربی نشان دهنده پیشرفت قابل توجه STHD در سه مجموعه داده با ابعاد بالا است: Crime-Chicago ، Wiki-People و Traffic.کد منبع و مجموعه داده ها به صورت عمومی در دسترس هستند https://github.com/xinzzzhou/scalabletransformer4highdimensionmtsf.git.