پیش‌بینی سری‌های زمانی یکی از مسائل بنیادین در حوزه یادگیری ماشین و علم داده است که کاربردهای گسترده‌ای از پیش‌بینی بازارهای مالی و وضعیت آب‌وهوا گرفته تا تخمین ترافیک شهری و برنامه‌ریزی منابع انرژی دارد. در سال‌های اخیر، معماری ترنسفورمر (Transformer) که در ابتدا برای پردازش زبان طبیعی (NLP) طراحی شده بود، به دلیل توانایی فوق‌العاده‌اش در مدل‌سازی وابستگی‌های دوربرد، توجه بسیاری را در سایر حوزه‌ها به خود جلب کرده است. با این حال، استفاده مستقیم از معماری استاندارد ترنسفورمر برای مسائل سری زمانی با چالش‌های جدی روبرو است.

مقاله “NAST: ترنسفورمر مکانی-زمانی غیر خودبازگشتی برای پیش‌بینی سری‌های زمانی” یک گام بزرگ در جهت رفع این چالش‌ها برمی‌دارد. این پژوهش برای اولین بار یک معماری ترنسفورمر غیر خودبازگشتی (Non-Autoregressive) را برای پیش‌بینی سری‌های زمانی ارائه می‌دهد. این رویکرد نوآورانه دو مشکل اساسی مدل‌های متداول را هدف قرار می‌دهد: خطای تجمعی در پیش‌بینی‌های بلندمدت و تأخیر زمانی در فرآیند تولید خروجی. علاوه بر این، مقاله یک مکانیزم توجه مکانی-زمانی جدید را معرفی می‌کند که به مدل اجازه می‌دهد وابستگی‌های پیچیده میان ابعاد مکان و زمان را به صورت یکپارچه درک کند. اهمیت این مقاله در ارائه راهکاری است که نه تنها دقت پیش‌بینی را بهبود می‌بخشد، بلکه سرعت آن را نیز به طرز چشمگیری افزایش می‌دهد و راه را برای کاربردهای بلادرنگ (real-time) و حیاتی هموار می‌سازد.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته به نام‌های Kai Chen، Guang Chen، Dan Xu، Lijun Zhang، Yuyao Huang و Alois Knoll است. این تحقیق در حوزه یادگیری ماشین (Machine Learning) و به طور خاص در تقاطع معماری‌های یادگیری عمیق و تحلیل سری‌های زمانی قرار می‌گیرد. تمرکز اصلی پژوهش بر روی بهبود مدل‌های پیش‌بینی برای داده‌هایی است که هم دارای بعد زمانی (تغییرات در طول زمان) و هم بعد مکانی (ارتباط بین نقاط یا سنسورهای مختلف) هستند. این نوع داده‌ها که به داده‌های مکانی-زمانی (Spatial-Temporal Data) معروفند، در بسیاری از مسائل دنیای واقعی مانند مسیریابی خودروهای خودران، رباتیک و سیستم‌های نظارتی هوشمند یافت می‌شوند.

علیرغم موفقیت‌های چشمگیر معماری ترنسفورمر در حوزه‌هایی مانند پردازش زبان طبیعی، پیاده‌سازی آن برای پیش‌بینی سری‌های زمانی همچنان یک چالش بزرگ محسوب می‌شود. مدل‌های استاندارد ترنسفورمر از یک فرآیند رمزگشایی خودبازگشتی (Autoregressive) استفاده می‌کنند که در آن هر گام زمانی بعدی بر اساس گام پیش‌بینی‌شده قبلی تولید می‌شود. این فرآیند به ناچار منجر به انباشت و تشدید خطاها در افق‌های زمانی طولانی می‌گردد. همچنین، مدیریت وابستگی‌های پیچیده مکانی-زمانی با استفاده از مکانیزم‌های توجه استاندارد، دشوار و ناکارآمد است.

برای غلبه بر این محدودیت‌ها، مقاله NAST برای نخستین بار یک معماری ترنسفورمر غیر خودبازگشتی را برای پیش‌بینی سری‌های زمانی پیشنهاد می‌کند. هدف اصلی این معماری، حل مشکل تأخیر زمانی و خطاهای تجمعی است که در ترنسفورمرهای استاندارد وجود دارد. علاوه بر این، نویسندگان یک مکانیزم توجه مکانی-زمانی نوآورانه را معرفی می‌کنند که با استفاده از یک “نقشه تأثیر زمانی آموخته‌شده”، پلی میان توجه مکانی و توجه زمانی ایجاد می‌کند. این مکانیزم به مدل اجازه می‌دهد تا وابستگی‌های مکانی و زمانی را به صورت یکپارچه و منسجم پردازش کند. نتایج تجربی بر روی مجموعه داده‌های متنوع موقعیت‌یابی آینده (future localization) نشان می‌دهد که مدل NAST در هر دو زمینه دقت و سرعت (عملکرد بلادرنگ)، به بهترین نتایج روز (State-of-the-art) دست یافته است.

معماری NAST بر پایه دو نوآوری کلیدی بنا شده است که به طور مستقیم چالش‌های مدل‌های پیشین را هدف قرار می‌دهند:

• رویکرد غیر خودبازگشتی برای تولید پیش‌بینی:
  در مدل‌های خودبازگشتی، فرآیند پیش‌بینی به صورت گام به گام انجام می‌شود. یعنی برای پیش‌بینی مقدار در زمان t+1، مدل از ورودی‌های تاریخی و همچنین مقدار پیش‌بینی‌شده در زمان t استفاده می‌کند. این وابستگی زنجیره‌ای باعث می‌شود که یک خطای کوچک در مراحل اولیه، در گام‌های بعدی تقویت شده و به خطاهای بزرگی در پیش‌بینی‌های بلندمدت منجر شود. این پدیده به خطای تجمعی (Accumulative Error) مشهور است. علاوه بر این، ماهیت ترتیبی این فرآیند، آن را کند و برای کاربردهای بلادرنگ نامناسب می‌سازد.
  مدل NAST با اتخاذ یک رویکرد غیر خودبازگشتی، این الگو را کاملاً تغییر می‌دهد. این مدل به جای تولید خروجی به صورت گام به گام، کل توالی پیش‌بینی آینده را به صورت موازی و در یک مرحله تولید می‌کند. این کار نه تنها ریسک انباشت خطا را از بین می‌برد، بلکه به دلیل قابلیت پردازش موازی، سرعت استنتاج را به شدت افزایش می‌دهد.
• مکانیزم توجه مکانی-زمانی یکپارچه:
  در بسیاری از مسائل واقعی، داده‌ها دارای ساختار مکانی-زمانی هستند. به عنوان مثال، در پیش‌بینی ترافیک، وضعیت ترافیک در یک تقاطع (مکان) در یک ساعت مشخص (زمان) به وضعیت تقاطع‌های مجاور و همچنین وضعیت همان تقاطع در ساعات گذشته بستگی دارد. مدل‌های سنتی معمولاً این دو نوع وابستگی را به صورت جداگانه مدل می‌کنند که منجر به از دست رفتن اطلاعات ارزشمند از تعاملات پیچیده بین آنها می‌شود.
  NAST یک مکانیزم توجه مکانی-زمانی (Spatial-Temporal Attention) جدید را معرفی می‌کند. هسته اصلی این مکانیزم، یک “نقشه تأثیر زمانی آموخته‌شده” (Learned Temporal Influence Map) است. این نقشه به صورت دینامیک یاد می‌گیرد که چگونه الگوهای زمانی در یک مکان بر الگوهای مکانی در نقاط دیگر تأثیر می‌گذارند. برای مثال، مدل می‌تواند بیاموزد که یک ازدحام ترافیک در نقطه A، با یک تأخیر زمانی مشخص، بر نقطه B تأثیر خواهد گذاشت. این مکانیزم به مدل اجازه می‌دهد تا به جای تحلیل جداگانه فضا و زمان، یک درک جامع و یکپارچه از دینامیک سیستم به دست آورد.

نویسندگان مقاله، مدل NAST را بر روی مجموعه داده‌های متنوعی در زمینه “موقعیت‌یابی آینده خودمحور” (ego-centric future localization) ارزیابی کرده‌اند. این نوع وظایف در حوزه‌هایی مانند رباتیک و خودروهای خودران بسیار رایج است، جایی که یک عامل (ربات یا خودرو) باید موقعیت آینده خود یا سایر اشیاء متحرک را بر اساس مشاهدات فعلی و گذشته پیش‌بینی کند. یافته‌های اصلی این ارزیابی عبارتند از:

• دقت پیشرفته (State-of-the-Art Accuracy): مدل NAST توانست در مقایسه با روش‌های پیشین، به دقت بالاتری در پیش‌بینی دست یابد. این موفقیت نشان‌دهنده توانایی برتر مکانیزم توجه مکانی-زمانی در درک و مدل‌سازی وابستگی‌های پیچیده داده‌ها است.
• عملکرد بلادرنگ (Real-time Performance): به لطف معماری غیر خودبازگشتی، NAST به طور قابل توجهی سریع‌تر از مدل‌های خودبازگشتی عمل می‌کند. این سرعت بالا، آن را به گزینه‌ای ایده‌آل برای کاربردهایی تبدیل می‌کند که در آنها تصمیم‌گیری سریع و با تأخیر کم، امری حیاتی است.
• کاهش خطای تجمعی: آزمایش‌ها تأیید کردند که رویکرد غیر خودبازگشتی به طور مؤثری از مشکل انباشت خطا جلوگیری می‌کند، به ویژه در پیش‌بینی‌هایی با افق زمانی طولانی.

دستاورد اصلی مقاله NAST، ارائه یک معماری قدرتمند و کارآمد است که تعادل مطلوبی بین دقت و سرعت در مسائل پیچیده پیش‌بینی سری‌های زمانی برقرار می‌کند. این ویژگی‌ها درهای جدیدی را برای کاربردهای عملی باز می‌کند:

• خودروهای خودران و رباتیک: پیش‌بینی دقیق و سریع مسیر حرکت عابران پیاده، وسایل نقلیه دیگر و حتی مسیر خود عامل، برای ناوبری ایمن و کارآمد ضروری است. NAST می‌تواند به عنوان هسته اصلی سیستم‌های پیش‌بینی در این حوزه عمل کند.
• مدیریت ترافیک هوشمند: با تحلیل داده‌های سنسورهای ترافیکی در سراسر شهر، NAST می‌تواند جریان ترافیک را برای ساعت‌های آینده پیش‌بینی کرده و به بهینه‌سازی زمان‌بندی چراغ‌های راهنمایی و جلوگیری از ازدحام کمک کند.
• هواشناسی: پیش‌بینی پدیده‌های جوی مانند طوفان یا بارش، که در آن شرایط یک منطقه بر مناطق دیگر با تأخیر زمانی تأثیر می‌گذارد، می‌تواند با استفاده از مکانیزم مکانی-زمانی NAST بهبود یابد.
• تحلیل بازارهای مالی: درک اینکه چگونه نوسانات قیمت یک دارایی بر سایر دارایی‌ها در بازه‌های زمانی مختلف تأثیر می‌گذارد، برای مدیریت ریسک و استراتژی‌های سرمایه‌گذاری کلیدی است.

مهم‌ترین دستاورد NAST، شکستن پارادایم خودبازگشتی در مدل‌های ترنسفورمر برای سری‌های زمانی و معرفی راهکاری است که به طور همزمان سریع، دقیق و مقیاس‌پذیر است.

مقاله “NAST: ترنسفورمر مکانی-زمانی غیر خودبازگشتی برای پیش‌بینی سری‌های زمانی” یک چارچوب نوآورانه و تأثیرگذار در حوزه یادگیری عمیق ارائه می‌دهد. با معرفی اولین معماری ترنسفورمر کاملاً غیر خودبازگشتی برای این حوزه، این پژوهش به طور مؤثری بر دو چالش بزرگ مدل‌های پیشین، یعنی خطای تجمعی و تأخیر زمانی، غلبه می‌کند. علاوه بر این، مکانیزم توجه مکانی-زمانی یکپارچه آن، روشی هوشمندانه برای مدل‌سازی دینامیک‌های پیچیده در داده‌های چندبعدی فراهم می‌آورد.

NAST نه تنها یک بهبود تدریجی، بلکه یک تغییر نگرش در نحوه به‌کارگیری ترنسفورمرها برای سری‌های زمانی است. نتایج درخشان این مدل در دقت و سرعت، پتانسیل بالای آن را برای حل مسائل حیاتی در دنیای واقعی، از ناوبری خودران گرفته تا مدیریت سیستم‌های شهری هوشمند، به نمایش می‌گذارد و مسیر را برای توسعه نسل جدیدی از مدل‌های پیش‌بینی سریع، دقیق و قابل اعتماد هموار می‌سازد.