پیش‌بینی سری‌های زمانی یکی از مهم‌ترین و پرکاربردترین حوزه‌ها در علوم داده و هوش مصنوعی است. از پیش‌بینی قیمت سهام و تقاضای انرژی گرفته تا تحلیل داده‌های پزشکی و پیش‌بینی وضعیت آب و هوا، توانایی مدل‌سازی و پیش‌بینی روندهای آینده نقشی حیاتی در تصمیم‌گیری‌های هوشمندانه ایفا می‌کند. به طور سنتی، مدل‌های پیش‌بینی سری‌های زمانی، معماری‌های بسیار تخصصی داشته‌اند که برای وظایف و داده‌های خاص طراحی می‌شدند. این رویکرد، برخلاف پیشرفت‌های چشمگیر در حوزه‌هایی مانند پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (CV) است که در آن‌ها، مدل‌های پایه‌ای (Foundation Models) بزرگ مانند GPT و BERT توانسته‌اند با یک معماری واحد، طیف وسیعی از وظایف را با موفقیت انجام دهند.

مقاله Time-LLM یک گام بزرگ و نوآورانه برای پر کردن این شکاف است. این مقاله یک چارچوب جدید را معرفی می‌کند که به جای طراحی یک مدل تخصصی از ابتدا، از قدرت خارق‌العاده مدل‌های زبانی بزرگ (LLM) برای پیش‌بینی سری‌های زمانی بهره می‌برد. ایده اصلی این است که به جای آموزش یک مدل جدید، یک LLM از پیش آموزش‌دیده را “بازبرنامه‌ریزی” کنیم تا بتواند داده‌های عددی سری زمانی را درک و تحلیل کند. این رویکرد نه تنها منجر به عملکردی بهتر از مدل‌های پیشرفته کنونی شده، بلکه راه را برای ایجاد مدل‌های پیش‌بینی عمومی و قدرتمند با قابلیت یادگیری در شرایط کمبود داده هموار می‌سازد.

این مقاله حاصل همکاری تیمی از پژوهشگران برجسته در حوزه هوش مصنوعی و یادگیری ماشین از جمله Ming Jin, Shiyu Wang, Lintao Ma, و دیگران است. این تحقیق در تقاطع سه حوزه کلیدی قرار دارد: یادگیری ماشین، هوش مصنوعی، و تحلیل سری‌های زمانی. زمینه اصلی تحقیق،探索 چگونگی استفاده از مدل‌های پایه‌ای است که در ابتدا برای درک و تولید زبان انسان طراحی شده‌اند، برای حل مسائلی در دامنه‌های کاملاً متفاوت مانند داده‌های عددی ساختاریافته. این پژوهش بخشی از یک روند بزرگ‌تر در هوش مصنوعی است که به دنبال ایجاد مدل‌های یکپارچه و چندمنظوره (Generalist Models) است تا نیاز به توسعه مدل‌های متعدد و تخصصی را کاهش دهد.

پیش‌بینی سری‌های زمانی در سیستم‌های دینامیک دنیای واقعی اهمیت بالایی دارد. برخلاف NLP و CV که یک مدل بزرگ می‌تواند چندین وظیفه را انجام دهد، مدل‌های سری زمانی اغلب تخصصی هستند. توسعه مدل‌های پایه‌ای در حوزه سری‌های زمانی به دلیل کمبود داده‌های حجیم و یکپارچه، با محدودیت مواجه بوده است. مطالعات اخیر نشان داده‌اند که LLMها توانایی بالایی در تشخیص الگو و استدلال بر روی توالی‌های پیچیده از توکن‌ها دارند. چالش اصلی، هم‌راستاسازی موثر داده‌های سری زمانی (که عددی هستند) با زبان طبیعی (که متنی است) برای بهره‌گیری از این قابلیت‌هاست.

در این مقاله، چارچوبی به نام Time-LLM ارائه می‌شود که با “بازبرنامه‌ریزی” (Reprogramming)، مدل‌های زبانی بزرگ را برای وظیفه عمومی پیش‌بینی سری زمانی، بدون تغییر در ساختار اصلی و وزن‌های آن‌ها، آماده می‌کند. این فرآیند شامل مراحل زیر است:

• هم‌راستاسازی داده‌ها: ابتدا، سری زمانی ورودی با استفاده از “نمونه‌های اولیه متنی” (Text Prototypes) بازبرنامه‌ریزی می‌شود تا به فرمتی شبیه به زبان طبیعی تبدیل شود.
• استفاده از LLM منجمد: این داده‌های تبدیل‌شده به یک LLM منجمد (Frozen LLM) داده می‌شود. منجمد بودن به این معناست که وزن‌های اصلی مدل زبان تغییر نمی‌کند و از دانش عظیم از پیش آموخته‌شده آن استفاده می‌شود.
• افزایش توانایی استدلال: برای تقویت توانایی LLM در تحلیل داده‌های زمانی، روشی به نام Prompt-as-Prefix (PaP) معرفی شده است. این روش، اطلاعات زمینه‌ای را به ورودی اضافه کرده و فرآیند تبدیل داده‌ها را هدایت می‌کند.
• پیش‌بینی نهایی: خروجی LLM که نمایانگر الگوهای زمانی است، در نهایت توسط یک لایه پروجکشن ساده به پیش‌بینی‌های عددی نهایی تبدیل می‌شود.

ارزیابی‌های جامع نشان می‌دهند که Time-LLM یک یادگیرنده قدرتمند برای سری‌های زمانی است و عملکردی بهتر از مدل‌های تخصصی و پیشرفته در این حوزه دارد. علاوه بر این، این مدل در سناریوهای یادگیری صفر-مرحله‌ای (Zero-shot) و چند-مرحله‌ای (Few-shot) نیز برتری خود را به اثبات رسانده است.

معماری Time-LLM برای حل چالش اساسی عدم تطابق بین داده‌های عددی سری زمانی و ورودی مبتنی بر توکنِ مدل‌های زبانی طراحی شده است. این معماری از چند جزء نوآورانه تشکیل شده است:

الف) بازبرنامه‌ریزی ورودی (Input Reprogramming):

این مرحله قلب نوآوری Time-LLM است. از آنجایی که LLMها با توکن‌های متنی کار می‌کنند، سری زمانی عددی باید به فرمتی قابل فهم برای آن‌ها تبدیل شود. این فرآیند در دو مرحله انجام می‌شود:

• تکه‌تکه کردن (Patching): سری زمانی ورودی به تکه‌های (Patch) کوچک‌تر و همپوشان تقسیم می‌شود. هر تکه، بخشی از تاریخچه زمانی را در بر می‌گیرد. این کار به مدل اجازه می‌دهد تا الگوهای محلی را شناسایی کند.
• تبدیل به شبه‌متن: هر تکه عددی از طریق یک لایه خطی ساده به یک بردار نهفته (Embedding) تبدیل می‌شود که ابعادی مشابه بردارهای نهفته توکن‌های LLM دارد. این فرآیند، که “بازبرنامه‌ریزی” نامیده می‌شود، داده‌های عددی را به فضایی معنایی منتقل می‌کند که LLM قادر به درک آن است، بدون اینکه مستقیماً آن‌ها را به کلمات تبدیل کند.

ب) استفاده از LLM منجمد (Frozen LLM Backbone):

یکی از بزرگترین مزایای Time-LLM این است که به جای آموزش کامل یک مدل زبان بزرگ (که به منابع محاسباتی عظیمی نیاز دارد)، از یک مدل از پیش آموزش‌دیده مانند LLaMA یا GPT به صورت “منجمد” استفاده می‌کند. این یعنی میلیاردها پارامتر مدل اصلی دست‌نخورده باقی می‌مانند. این رویکرد به Time-LLM اجازه می‌دهد تا از توانایی‌های استدلال، تشخیص الگو و درک روابط پیچیده که LLM در طول آموزش خود روی حجم عظیمی از داده‌های متنی آموخته است، بهره‌مند شود.

ج) پیشوند-اعلان (Prompt-as-Prefix – PaP):

برای اینکه LLM بداند با چه نوع وظیفه‌ای روبرو است و چگونه باید تکه‌های ورودی را پردازش کند، یک “اعلان” (Prompt) قابل یادگیری به ابتدای توالی ورودی اضافه می‌شود. این اعلان که PaP نام دارد، مجموعه‌ای از بردارهای نهفته است که به همراه داده‌های سری زمانی به LLM داده می‌شود. این پیشوند مانند یک دستورالعمل عمل کرده و به LLM کمک می‌کند تا توجه خود را بر روی ویژگی‌های مهم زمانی متمرکز کند و استدلال‌های مرتبط با پیش‌بینی را انجام دهد.

د) لایه پروجکشن خروجی (Output Projection Layer):

پس از اینکه LLM توالی بازبرنامه‌ریزی‌شده را پردازش کرد، خروجی آن مجموعه‌ای از بردارهای نهفته است. این بردارها حاوی اطلاعات غنی در مورد الگوهای شناسایی‌شده در سری زمانی هستند. در نهایت، یک لایه خطی ساده (لایه پروجکشن) وظیفه دارد این بردارهای خروجی را به مقادیر عددی پیش‌بینی برای افق زمانی آینده تبدیل کند. در کل فرآیند، تنها لایه‌های بازبرنامه‌ریزی ورودی، پیشوند-اعلان و لایه پروجکشن خروجی آموزش داده می‌شوند که تعداد پارامترهای آن‌ها بسیار کمتر از LLM اصلی است.

نتایج آزمایش‌های انجام‌شده بر روی مجموعه داده‌های استاندارد پیش‌بینی سری زمانی، موفقیت چشمگیر چارچوب Time-LLM را نشان می‌دهد:

• عملکرد برتر: Time-LLM در اکثر معیارها و مجموعه داده‌ها، از مدل‌های تخصصی و پیشرفته (State-of-the-Art) در حوزه سری زمانی، مانند PatchTST و DLinear، عملکرد بهتری از خود نشان داد. این نشان می‌دهد که تطبیق LLMها برای این وظیفه، نه تنها ممکن، بلکه بسیار مؤثر است.
• قدرت در یادگیری صفر-مرحله‌ای (Zero-shot Learning): یکی از شگفت‌انگیزترین نتایج، توانایی Time-LLM در انجام پیش‌بینی برای سری‌های زمانی کاملاً جدید، بدون هیچ‌گونه آموزش مجدد بر روی آن داده‌ها بود. این قابلیت که از دانش عمومی LLM نشأت می‌گیرد، آن را به ابزاری بسیار کارآمد برای کاربردهایی تبدیل می‌کند که داده‌های آموزشی در دسترس نیست.
• کارایی در یادگیری چند-مرحله‌ای (Few-shot Learning): این مدل توانست با دیدن تنها تعداد کمی از نمونه‌های یک سری زمانی جدید، به سرعت خود را تطبیق داده و به دقت بالایی دست یابد. این ویژگی برای سناریوهای دنیای واقعی که داده‌های تاریخی محدود هستند، بسیار ارزشمند است.
• مدل عمومی و یکپارچه: برخلاف مدل‌های سنتی که هر کدام برای نوع خاصی از پیش‌بینی (مثلاً کوتاه‌مدت یا بلندمدت) بهینه شده‌اند، Time-LLM به عنوان یک مدل عمومی عمل می‌کند که می‌تواند طیف گسترده‌ای از وظایف پیش‌بینی را به خوبی انجام دهد.

رویکرد ارائه‌شده در Time-LLM پیامدهای عملی و علمی گسترده‌ای دارد:

کاربردهای عملی:

• بازارهای مالی: پیش‌بینی قیمت سهام، نرخ ارز و شاخص‌های اقتصادی با دقت بالاتر.
• صنعت انرژی: پیش‌بینی تقاضای برق برای بهینه‌سازی تولید و توزیع و جلوگیری از قطعی.
• زنجیره تأمین و خرده‌فروشی: پیش‌بینی تقاضا برای محصولات به منظور مدیریت بهینه موجودی.
• هواشناسی: پیش‌بینی دقیق‌تر دما، بارش و سایر پدیده‌های جوی.
• حوزه سلامت: نظارت و پیش‌بینی علائم حیاتی بیماران (مانند ضربان قلب یا سطح قند خون) بر اساس داده‌های سنسورها.

دستاوردها و چشم‌انداز آینده:

بزرگترین دستاورد Time-LLM، تغییر پارادایم از ساخت مدل‌های تخصصی به تطبیق مدل‌های پایه‌ای قدرتمند است. این رویکرد نشان می‌دهد که می‌توان از سرمایه‌گذاری عظیم انجام‌شده برای آموزش LLMها در دامنه‌های دیگر نیز بهره برد. این امر به طور قابل توجهی هزینه‌های محاسباتی و زمان مورد نیاز برای توسعه مدل‌های پیشرفته را کاهش می‌دهد. در آینده، می‌توان این چارچوب را برای انواع دیگر داده‌های ساختاریافته مانند داده‌های جدولی یا گراف‌ها نیز گسترش داد و راه را برای نسل جدیدی از مدل‌های هوش مصنوعی عمومی و همه‌کاره باز کرد.

مقاله Time-LLM یک چارچوب نوآورانه و قدرتمند برای پیش‌بینی سری‌های زمانی معرفی می‌کند که با موفقیت، توانایی‌های استدلال و تشخیص الگوی مدل‌های زبانی بزرگ را به این حوزه منتقل می‌کند. با استفاده از تکنیک بازبرنامه‌ریزی و حفظ ساختار اصلی LLM به صورت منجمد، این مدل توانسته است به عملکردی فراتر از مدل‌های تخصصی دست یابد و در عین حال، انعطاف‌پذیری بی‌نظیری در شرایط کمبود داده از خود نشان دهد. Time-LLM نه تنها یک مدل جدید، بلکه یک رویکرد جدید است که پتانسیل تحول در نحوه مواجهه ما با مسائل پیش‌بینی را دارد و افق‌های جدیدی را برای استفاده از مدل‌های پایه‌ای در حل چالش‌های پیچیده دنیای واقعی می‌گشاید.