سری‌های زمانی به مجموعه‌ای از داده‌ها گفته می‌شود که در طول زمان به ترتیب ثبت شده‌اند. پیش‌بینی این سری‌ها، یعنی تخمین مقادیر آتی بر اساس الگوهای موجود در داده‌های گذشته، کاربردهای فراوانی در زمینه‌های مختلف از جمله اقتصاد، هواشناسی، مهندسی و علوم محیطی دارد. این مقاله به بررسی کارایی مدل‌های مختلف یادگیری عمیق در پیش‌بینی سری‌های زمانی می‌پردازد.

این مقاله توسط جیمنگ شی، ماهک جین و گیری ناراسیمهان نگاشته شده است. این محققان در زمینه یادگیری ماشین و به طور خاص در زمینه کاربرد روش‌های یادگیری عمیق در تحلیل و پیش‌بینی داده‌های پیچیده تخصص دارند. هدف اصلی آن‌ها در این تحقیق، ارزیابی و مقایسه عملکرد مدل‌های مختلف یادگیری عمیق در پیش‌بینی سری‌های زمانی و بررسی تاثیر پارامترهای مختلف از جمله اندازه پنجره نگاه به گذشته (look-back window) و افق پیش‌بینی (prediction horizon) بر دقت پیش‌بینی است.

مقاله حاضر به بررسی استفاده از مدل‌های مختلف یادگیری عمیق برای پیش‌بینی سری‌های زمانی می‌پردازد. در این روش‌ها، داده‌های گذشته در یک پنجره زمانی مشخص به عنوان ورودی به مدل داده می‌شوند و مدل با یادگیری از این داده‌ها، مقادیر آتی را پیش‌بینی می‌کند. مقاله به طور خاص به بررسی تاثیر اندازه این پنجره زمانی و همچنین تعداد نقاط زمانی که باید پیش‌بینی شوند، بر عملکرد مدل‌ها می‌پردازد. علاوه بر این، عملکرد مدل‌های مبتنی بر مکانیسم توجه (Attention-based Transformer models) که اخیراً در زمینه‌های پردازش تصویر و زبان طبیعی موفقیت‌های چشمگیری داشته‌اند، مورد بررسی قرار می‌گیرد. در مجموع، چهار مدل مختلف یادگیری عمیق شامل شبکه‌های عصبی بازگشتی (RNN)، شبکه‌های حافظه بلندمدت (LSTM)، واحدهای گیت‌دار تکرارشونده (GRU) و مدل‌های Transformer با یک روش پایه مقایسه می‌شوند. داده‌های مورد استفاده در این تحقیق، مجموعه داده کیفیت هوای پکن از وب‌سایت UCI است که شامل یک سری زمانی چند متغیره از عوامل مختلف اندازه‌گیری شده به صورت ساعتی در طول یک دوره 5 ساله (2010-2014) است. نتایج نشان می‌دهد که مدل‌های Transformer بهترین عملکرد را با کمترین میانگین قدر مطلق خطا (MAE) و جذر میانگین مربعات خطا (RMSE) در پیش‌بینی‌های تک‌گامی و چندگامی دارند. همچنین، بهترین اندازه برای پنجره نگاه به گذشته برای پیش‌بینی 1 ساعت به آینده به نظر می‌رسد یک روز باشد، در حالی که 2 یا 4 روز بهترین عملکرد را برای پیش‌بینی 3 ساعت به آینده دارند.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

• آماده‌سازی داده‌ها: مجموعه داده کیفیت هوای پکن از وب‌سایت UCI جمع‌آوری و پیش‌پردازش شد. این پیش‌پردازش شامل پاکسازی داده‌ها، مدیریت مقادیر گمشده و نرمال‌سازی داده‌ها برای بهبود عملکرد مدل‌ها بود.
• انتخاب مدل‌ها: چهار مدل مختلف یادگیری عمیق شامل RNN، LSTM، GRU و Transformer برای پیش‌بینی سری‌های زمانی انتخاب شدند. هر یک از این مدل‌ها دارای معماری و ویژگی‌های منحصر به فردی هستند که آن‌ها را برای انواع خاصی از داده‌ها مناسب می‌سازد.
• تنظیم پارامترها: پارامترهای مختلف هر مدل، مانند تعداد لایه‌ها، تعداد نورون‌ها در هر لایه، نرخ یادگیری و اندازه پنجره نگاه به گذشته، با استفاده از روش‌های مختلف مانند جستجوی شبکه‌ای (Grid Search) و اعتبارسنجی متقابل (Cross-validation) بهینه شدند.
• آموزش و ارزیابی مدل‌ها: مدل‌ها با استفاده از داده‌های آموزشی آموزش داده شدند و عملکرد آن‌ها با استفاده از داده‌های آزمایشی ارزیابی شد. معیارهای ارزیابی شامل MAE و RMSE بودند که میزان دقت پیش‌بینی مدل‌ها را اندازه‌گیری می‌کنند.
• مقایسه عملکرد مدل‌ها: عملکرد مدل‌های مختلف با یکدیگر و با روش پایه مقایسه شد. این مقایسه بر اساس معیارهای ارزیابی و همچنین تحلیل آماری نتایج انجام شد.

برای مثال، برای تعیین بهترین اندازه پنجره نگاه به گذشته، محققان مدل‌ها را با اندازه‌های مختلف پنجره (مثلاً 1 روز، 2 روز، 4 روز) آموزش داده و ارزیابی کردند و اندازه‌ای را انتخاب کردند که بهترین عملکرد را داشته باشد. به طور مشابه، برای تنظیم سایر پارامترها نیز از روش‌های مشابه استفاده شد.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• عملکرد برتر مدل‌های Transformer: مدل‌های Transformer در بیشتر موارد، عملکرد بهتری نسبت به سایر مدل‌های یادگیری عمیق داشتند. این مدل‌ها توانستند با کمترین MAE و RMSE، پیش‌بینی‌های دقیق‌تری ارائه دهند. این نشان می‌دهد که مکانیسم توجه (Attention mechanism) در مدل‌های Transformer، به آن‌ها کمک می‌کند تا وابستگی‌های مهم در داده‌های سری زمانی را بهتر شناسایی و مدل‌سازی کنند.
• تاثیر اندازه پنجره نگاه به گذشته: اندازه پنجره نگاه به گذشته تاثیر قابل توجهی بر عملکرد مدل‌ها داشت. برای پیش‌بینی 1 ساعت به آینده، پنجره‌ای با اندازه 1 روز بهترین عملکرد را داشت، در حالی که برای پیش‌بینی 3 ساعت به آینده، پنجره‌هایی با اندازه 2 یا 4 روز بهتر بودند. این نشان می‌دهد که برای پیش‌بینی‌های کوتاه‌مدت، استفاده از داده‌های اخیر کافی است، در حالی که برای پیش‌بینی‌های بلندمدت، نیاز به بررسی داده‌های بیشتری از گذشته است.
• تاثیر افق پیش‌بینی: با افزایش افق پیش‌بینی (تعداد نقاط زمانی که باید پیش‌بینی شوند)، دقت پیش‌بینی مدل‌ها کاهش یافت. این امر طبیعی است، زیرا هر چه پیش‌بینی دورتر باشد، عدم قطعیت بیشتری وجود دارد.

به عنوان مثال، RMSE برای پیش‌بینی 1 ساعت به آینده با استفاده از مدل Transformer برابر با 23.573 بود، در حالی که برای پیش‌بینی 3 ساعت به آینده به 38.131 افزایش یافت.

نتایج این تحقیق می‌تواند در زمینه‌های مختلف کاربرد داشته باشد:

• پیش‌بینی کیفیت هوا: پیش‌بینی دقیق کیفیت هوا می‌تواند به مردم و سازمان‌های مسئول کمک کند تا اقدامات لازم را برای کاهش آلودگی هوا و محافظت از سلامت عمومی انجام دهند.
• مدیریت منابع انرژی: پیش‌بینی مصرف انرژی می‌تواند به شرکت‌های برق کمک کند تا تولید و توزیع برق را به طور موثرتری مدیریت کنند و از کمبود یا هدررفت انرژی جلوگیری کنند.
• پیش‌بینی بازار سهام: پیش‌بینی روند بازار سهام می‌تواند به سرمایه‌گذاران کمک کند تا تصمیمات بهتری در مورد خرید و فروش سهام بگیرند و سود خود را افزایش دهند.
• پیش‌بینی ترافیک: پیش‌بینی ترافیک می‌تواند به رانندگان کمک کند تا مسیرهای بهتری را انتخاب کنند و از ترافیک سنگین جلوگیری کنند.

دستاورد اصلی این تحقیق، ارائه یک مقایسه جامع از عملکرد مدل‌های مختلف یادگیری عمیق در پیش‌بینی سری‌های زمانی و شناسایی مدل Transformer به عنوان بهترین گزینه برای این کار است. همچنین، این تحقیق نشان داد که اندازه پنجره نگاه به گذشته و افق پیش‌بینی تاثیر قابل توجهی بر دقت پیش‌بینی دارند و باید به دقت در نظر گرفته شوند.

در مجموع، این مقاله نشان داد که مدل‌های یادگیری عمیق می‌توانند به طور موثری برای پیش‌بینی سری‌های زمانی استفاده شوند. مدل‌های Transformer، با مکانیسم توجه خود، عملکرد بهتری نسبت به سایر مدل‌ها دارند و می‌توانند پیش‌بینی‌های دقیق‌تری ارائه دهند. با این حال، انتخاب مدل مناسب و تنظیم پارامترهای آن بستگی به ویژگی‌های خاص داده‌ها و هدف پیش‌بینی دارد. اندازه پنجره نگاه به گذشته و افق پیش‌بینی نیز باید به دقت در نظر گرفته شوند تا بهترین عملکرد حاصل شود. این تحقیق می‌تواند به محققان و متخصصان در زمینه‌های مختلف کمک کند تا از روش‌های یادگیری عمیق برای پیش‌بینی سری‌های زمانی استفاده کنند و تصمیمات بهتری بگیرند.