در دهه‌های اخیر، داده‌های سری زمانی به بخشی جدایی‌ناپذیر از دنیای دیجیتال تبدیل شده‌اند. از پیش‌بینی قیمت سهام در بازارهای مالی و تحلیل داده‌های آب‌وهوا گرفته تا نظارت بر علائم حیاتی بیماران و نگهداری پیش‌بینانه تجهیزات صنعتی، تحلیل و پیش‌بینی سری‌های زمانی نقشی حیاتی ایفا می‌کند. با ظهور پدیده‌ی «داده‌های بزرگ» (Big Data)، حجم این داده‌ها به شکل نمایی افزایش یافته و این امر نیاز به مدل‌های قدرتمندتر و کارآمدتر را دوچندان کرده است.

در سال‌های اخیر، معماری ترنسفورمر (Transformer) انقلابی در حوزه‌های پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (CV) ایجاد کرده است. مدل‌های عظیمی مانند BERT و GPT در زبان، و Vision Transformer (ViT) در تصویر، با استفاده از رویکرد یادگیری خودنظارتی (Self-Supervised Learning) بر روی حجم عظیمی از داده‌های بدون برچسب، به درک عمیقی از ساختار داده‌ها دست یافته و رکوردهای پیشین را جابجا کرده‌اند. با این حال، دنیای سری‌های زمانی از این انقلاب تا حدودی جامانده بود. چالش‌های منحصر به فرد داده‌های زمانی، مانند چگالی اطلاعاتی بالا، وابستگی‌های پیچیده‌ی زمانی و همبستگی بین متغیرهای متعدد، انتقال مستقیم این مدل‌های موفق را دشوار می‌ساخت.

مقاله “MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting” به عنوان یک گام بلند و نوآورانه در جهت پر کردن این شکاف علمی ارائه شده است. این مقاله با الهام از موفقیت چشمگیر «خودرمزنگارهای پوشانده شده» (Masked Autoencoders – MAE) در بینایی کامپیوتر، یک چارچوب پیش‌آموزش خودنظارتی قدرتمند را برای سری‌های زمانی چندمتغیره معرفی می‌کند. اهمیت این کار در آن است که راه را برای ساخت مدل‌های پایه‌ای (Foundation Models) برای تحلیل انواع داده‌های زمانی هموار می‌سازد و به طور بالقوه می‌تواند انقلابی مشابه آنچه در NLP و CV رخ داد، در این حوزه نیز رقم بزند.

این مقاله توسط Peiwang Tang و Xianchao Zhang به نگارش درآمده است. حوزه تحقیقاتی این نویسندگان بر روی یادگیری ماشین (Machine Learning) و هوش مصنوعی (Artificial Intelligence) متمرکز است. به طور خاص، این پژوهش در تقاطع سه حوزه کلیدی قرار می‌گیرد:

• تحلیل سری‌های زمانی (Time-Series Analysis): تمرکز بر روی مدل‌سازی و پیش‌بینی داده‌هایی که در طول زمان ثبت شده‌اند.
• یادگیری خودنظارتی (Self-Supervised Learning): توسعه مدل‌هایی که قادرند الگوهای مفید را از داده‌های بدون برچسب استخراج کنند.
• یادگیری عمیق (Deep Learning): استفاده از معماری‌های پیشرفته شبکه عصبی، به ویژه ترنسفورمرها، برای حل مسائل پیچیده.

این مقاله در تلاش است تا قدرت یادگیری بازنمایی (Representation Learning) که از طریق پیش‌آموزش خودنظارتی به دست می‌آید را به حوزه چالش‌برانگیز پیش‌بینی سری‌های زمانی چندمتغیره بیاورد.

مقاله MTSMAE به این موضوع می‌پردازد که چگونه می‌توان از معماری‌های ترنسفورمر پیش‌آموزش‌دیده در مقیاس بزرگ برای بهبود وظایف پیش‌بینی سری‌های زمانی چندمتغیره بهره برد. نویسندگان اشاره می‌کنند که برخلاف موفقیت‌های چشمگیر در NLP و CV، تحقیقات در زمینه پیش‌آموزش ترنسفورمرها برای داده‌های زمانی محدود بوده و شکاف قابل توجهی در زمینه روش‌های «پوشاندن» (Masking) داده‌های زمانی برای یادگیری خودنظارتی وجود دارد.

چالش اصلی در این حوزه، چگالی بالای اطلاعات در سری‌های زمانی است که کار را از پردازش زبان و تصویر دشوارتر می‌کند. روش‌های قبلی برای تقسیم‌بندی داده (Patching) و پوشاندن آن در این حوزه کارایی لازم را ندارند. در این مقاله، نویسندگان یک روش جدید برای «جاسازی پچ» (Patch Embedding) متناسب با ویژگی‌های سری‌های زمانی چندمتغیره ارائه می‌دهند. سپس، رویکرد پیش‌آموزش خودنظارتی خود را با نام MTSMAE معرفی می‌کنند که بر پایه معماری خودرمزنگارهای پوشانده شده (MAE) بنا شده است.

هدف اصلی این است که نشان دهند پیش‌آموزش با این روش می‌تواند عملکرد مدل را به طور قابل توجهی نسبت به یادگیری نظارتی (Supervised Learning) سنتی (بدون پیش‌آموزش) بهبود بخشد. نتایج آزمایش‌ها بر روی چندین مجموعه داده استاندارد از حوزه‌های مختلف نشان می‌دهد که عملکرد MTSMAE نه تنها بهتر از روش‌های پایه، بلکه به طور معناداری برتر از بهترین و پیشرفته‌ترین روش‌های موجود در این زمینه است.

قلب نوآوری این مقاله در روش‌شناسی آن نهفته است. MTSMAE با هوشمندی معماری MAE را برای دنیای پیچیده سری‌های زمانی تطبیق می‌دهد. این فرآیند شامل چند مرحله کلیدی است:

• تقسیم‌بندی به پچ‌ها (Patching): اولین چالش، تعریف یک «پچ» برای سری زمانی چندمتغیره است. برخلاف تصویر که پچ یک مربع از پیکسل‌هاست، در اینجا یک پچ به عنوان یک پنجره زمانی با طول ثابت در تمام متغیرها تعریف می‌شود. برای مثال، اگر داده‌های ما شامل ۱۰ متغیر (مانند دما، رطوبت، فشار و …) باشد که در هر ثانیه ثبت می‌شوند، یک پچ می‌تواند داده‌های تمام ۱۰ متغیر در یک بازه زمانی ۱۶ ثانیه‌ای باشد. این روش تضمین می‌کند که همبستگی‌های لحظه‌ای بین متغیرهای مختلف حفظ شود.
• راهبرد پوشاندن تصادفی (Random Masking): پس از تقسیم سری زمانی به پچ‌های غیرهمپوشان، MTSMAE درصد بالایی از این پچ‌ها را (مثلاً ۷۵٪) به صورت تصادفی انتخاب و «پنهان» می‌کند. این کار یک مسئله بازسازی بسیار دشوار برای مدل ایجاد می‌کند. مدل مجبور است برای بازسازی پچ‌های پنهان‌شده، الگوهای عمیق زمانی، وابستگی‌های بلندمدت و روابط پیچیده بین متغیرها را یاد بگیرد.
• معماری نامتقارن رمزنگار-رمزگشا: این یکی از مزیت‌های اصلی MAE است که MTSMAE نیز از آن بهره می‌برد.
  • رمزنگار (Encoder): یک مدل ترنسفورمر استاندارد و عمیق، تنها پچ‌های نمایان (۲۵٪ باقی‌مانده) را پردازش می‌کند. این امر باعث کاهش چشمگیر بار محاسباتی در مرحله پیش‌آموزش می‌شود، زیرا مدل تنها بخش کوچکی از داده ورودی را می‌بیند.
  • رمزگشا (Decoder): یک ترنسفورمر بسیار کوچک‌تر و سبک‌تر، خروجی رمزنگار را به همراه توکن‌های ویژه‌ی «پوشیده» دریافت می‌کند. وظیفه رمزگشا این است که با استفاده از اطلاعات فشرده‌شده از پچ‌های نمایان، مقادیر اصلی پچ‌های پنهان‌شده را بازسازی کند.
• تابع هزینه و پیش‌آموزش: مدل با هدف به حداقل رساندن خطای بین پچ‌های بازسازی‌شده و مقادیر واقعی پچ‌های اصلی آموزش می‌بیند. معمولاً از خطای میانگین مربعات (MSE) به عنوان تابع هزینه استفاده می‌شود. این فرآیند کاملاً خودنظارتی است، زیرا برچسب‌ها از خود داده ورودی استخراج می‌شوند.
• تنظیم دقیق برای پیش‌بینی (Fine-tuning for Forecasting): پس از اتمام مرحله پیش‌آموزش بر روی حجم عظیمی از داده‌های بدون برچسب، رمزگشا دور انداخته می‌شود. رمزنگارِ پیش‌آموزش‌دیده، که اکنون یک استخراج‌کننده ویژگی قدرتمند است، حفظ می‌شود. یک لایه خطی ساده (سرِ پیش‌بینی) به انتهای آن اضافه شده و کل مدل بر روی مجموعه داده‌ی برچسب‌دارِ وظیفه نهایی (مثلاً پیش‌بینی ۲۴ ساعت آینده) با نرخ یادگیری پایین، «تنظیم دقیق» می‌شود.

آزمایش‌های انجام شده در این مقاله نتایج قابل توجهی را به همراه داشته است که اثربخشی رویکرد MTSMAE را تایید می‌کند:

• عملکرد برتر نسبت به یادگیری نظارتی: مدل MTSMAE که ابتدا پیش‌آموزش دیده و سپس تنظیم دقیق شده است، به طور مداوم و با اختلاف زیاد، مدل‌های مشابهی را که تنها به صورت نظارتی از ابتدا آموزش دیده‌اند، شکست می‌دهد. این نشان می‌دهد که پیش‌آموزش خودنظارتی به مدل یک درک پایه‌ای قوی از دینامیک سری‌های زمانی می‌بخشد که به تعمیم‌پذیری بهتر منجر می‌شود.
• ثبت رکوردهای جدید (State-of-the-Art): در مقایسه با بهترین روش‌های موجود برای پیش‌بینی سری‌های زمانی، از جمله مدل‌های مبتنی بر ترنسفورمر مانند Informer و Autoformer، مدل MTSMAE در اکثر مجموعه داده‌های معیار (مانند ETT، Weather، Electricity) عملکرد بهتری از خود نشان داد و معیارهای خطا مانند MSE و MAE را به میزان قابل توجهی کاهش داد.
• اهمیت نرخ پوشاندن بالا: آزمایش‌ها نشان داد که استفاده از نرخ پوشاندن بالا (مثلاً ۷۵٪) برای دستیابی به بهترین نتایج حیاتی است. این امر مدل را وادار به یادگیری بازنمایی‌های جامع‌تر و معنادارتری می‌کند.
• کارایی محاسباتی: به لطف معماری نامتقارن، فرآیند پیش‌آموزش MTSMAE بسیار کارآمد است و امکان آموزش بر روی مجموعه داده‌های بسیار بزرگ را با منابع محاسباتی معقول فراهم می‌کند.

موفقیت MTSMAE پیامدهای عملی گسترده‌ای در صنایع مختلف دارد و می‌تواند منجر به دستاوردهای مهمی شود:

• امور مالی: ساخت مدل‌های دقیق‌تر برای پیش‌بینی نوسانات بازار سهام، مدیریت ریسک و معاملات الگوریتمی با تحلیل همزمان صدها شاخص مالی.
• هواشناسی و علوم اقلیمی: بهبود دقت پیش‌بینی‌های جوی بلندمدت با درک بهتر از تعاملات پیچیده بین متغیرهای مختلف آب‌وهوایی در مناطق جغرافیایی گسترده.
• پزشکی و بهداشت دیجیتال: توسعه سیستم‌های هشدار اولیه در بخش مراقبت‌های ویژه (ICU) با تحلیل پیوسته داده‌های ECG، EEG و سایر علائم حیاتی برای پیش‌بینی وقوع حملات قلبی یا تشنج.
• صنعت و اینترنت اشیاء (IoT): پیاده‌سازی سیستم‌های نگهداری و تعمیرات پیش‌بینانه (Predictive Maintenance) برای توربین‌های بادی، موتورهای جت یا خطوط تولید کارخانه‌ها با تحلیل داده‌های سنسورها برای پیش‌بینی خرابی قبل از وقوع.
• مدیریت انرژی: پیش‌بینی دقیق‌تر تقاضای مصرف برق در شبکه‌های هوشمند و تولید انرژی از منابع تجدیدپذیر (مانند باد و خورشید) برای بهینه‌سازی توزیع و جلوگیری از قطعی برق.

دستاورد اصلی این مقاله، ارائه یک چارچوب استاندارد و قدرتمند برای بهره‌گیری از حجم عظیم داده‌های سری زمانی بدون برچسب است. شرکت‌ها و سازمان‌ها اغلب مقادیر زیادی از این داده‌ها را در اختیار دارند اما تولید برچسب برای آن‌ها پرهزینه است. MTSMAE این امکان را فراهم می‌کند که از این داده‌های خام برای ساخت مدل‌های هوشمند و دقیق استفاده شود.

مقاله “MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting” یک پژوهش بنیادین و تاثیرگذار است که با موفقیت، پارادایم قدرتمند یادگیری خودنظارتی مبتنی بر پوشاندن را به حوزه پیچیده سری‌های زمانی چندمتغیره منتقل می‌کند. این مقاله با ارائه یک روش نوآورانه برای تقسیم‌بندی و پوشاندن داده‌های زمانی و بهره‌گیری از معماری کارآمد رمزنگار-رمزگشا، یک چارچوب موثر برای پیش‌آموزش مدل‌های ترنسفورمر بر روی داده‌های زمانی ارائه می‌دهد.

نتایج برجسته و شکستن رکوردهای پیشین نشان می‌دهد که یادگیری خودنظارتی پتانسیل عظیمی برای متحول کردن زمینه تحلیل سری‌های زمانی دارد. MTSMAE نه تنها یک مدل قدرتمند است، بلکه مسیری جدید را برای تحقیقات آینده در جهت ساخت مدل‌های پایه‌ای بزرگ (Large Foundation Models) برای انواع داده‌های زمانی می‌گشاید. این مدل‌ها می‌توانند یک بار بر روی داده‌های متنوع پیش‌آموزش ببینند و سپس برای طیف گسترده‌ای از وظایف خاص، از پیش‌بینی مالی گرفته تا تشخیص پزشکی، تنظیم دقیق شوند و عصر جدیدی از هوشمندی را در تحلیل داده‌های وابسته به زمان آغاز کنند.