مقاله GATGPT: یک مدل زبان بزرگ از پیش آموزش داده شده با شبکه توجه نمودار برای جای گذاری فضایی مکانی

چکیده

The analysis of spatiotemporal data is increasingly utilized across diverse domains, including transportation, healthcare, and meteorology. In real-world settings, such data often contain missing elements due to issues like sensor malfunctions and data transmission errors. The objective of spatiotemporal imputation is to estimate these missing values by understanding the inherent spatial and temporal relationships in the observed multivariate time series. Traditionally, spatiotemporal imputation has relied on specific, intricate architectures designed for this purpose, which suffer from limited applicability and high computational complexity. In contrast, our approach integrates pre-trained large language models (LLMs) into spatiotemporal imputation, introducing a groundbreaking framework, GATGPT. This framework merges a graph attention mechanism with LLMs. We maintain most of the LLM parameters unchanged to leverage existing knowledge for learning temporal patterns, while fine-tuning the upper layers tailored to various applications. The graph attention component enhances the LLM’s ability to understand spatial relationships. Through tests on three distinct real-world datasets, our innovative approach demonstrates comparable results to established deep learning benchmarks.

چکیده به فارسی (ترجمه ماشینی)

تجزیه و تحلیل داده های مکانی مکانی به طور فزاینده ای در حوزه های متنوع از جمله حمل و نقل ، مراقبت های بهداشتی و هواشناسی مورد استفاده قرار می گیرد.در تنظیمات دنیای واقعی ، چنین داده هایی اغلب به دلیل مشکلی مانند نقص سنسور و خطاهای انتقال داده ها حاوی عناصر گمشده هستند.هدف از تغییر مکانی مکانی ، تخمین این مقادیر گمشده با درک روابط ذاتی مکانی و زمانی در سری زمانی چند متغیره مشاهده شده است.به طور سنتی ، تغییر مکانی فضایی به معماری های خاص و پیچیده طراحی شده برای این منظور متکی است که از کاربرد محدود و پیچیدگی محاسباتی بالا رنج می برد.در مقابل ، رویکرد ما مدلهای بزرگ زبان از پیش آموزش داده شده (LLMS) را در حالت فضایی و مکانی ادغام می کند و یک چارچوب پیشگامانه ، GATGPT را معرفی می کند.این چارچوب یک مکانیسم توجه نمودار را با LLM ها ادغام می کند.ما بیشتر پارامترهای LLM را بدون تغییر برای استفاده از دانش موجود برای یادگیری الگوهای زمانی حفظ می کنیم ، در حالی که تنظیم دقیق لایه های فوقانی متناسب با برنامه های مختلف.مؤلفه توجه نمودار توانایی LLM را در درک روابط مکانی تقویت می کند.از طریق تست در سه مجموعه داده مجزا در دنیای واقعی ، رویکرد نوآورانه ما نتایج قابل مقایسه ای را با معیارهای یادگیری عمیق ایجاد می کند.