ترجمه فارسی مقاله قدرت مدل های زبانی از پیش آموزش دیده را برای سری های زمانی نمونه گیری نامنظم آزاد کنید

چکیده

Pre-trained Language Models (PLMs), such as ChatGPT, have significantly advanced the field of natural language processing. This progress has inspired a series of innovative studies that explore the adaptation of PLMs to time series analysis, intending to create a unified foundation model that addresses various time series analytical tasks. However, these efforts predominantly focus on Regularly Sampled Time Series (RSTS), neglecting the unique challenges posed by Irregularly Sampled Time Series (ISTS), which are characterized by non-uniform sampling intervals and prevalent missing data. To bridge this gap, this work explores the potential of PLMs for ISTS analysis. We begin by investigating the effect of various methods for representing ISTS, aiming to maximize the efficacy of PLMs in this under-explored area. Furthermore, we present a unified PLM-based framework, ISTS-PLM, which integrates time-aware and variable-aware PLMs tailored for comprehensive intra and inter-time series modeling and includes a learnable input embedding layer and a task-specific output layer to tackle diverse ISTS analytical tasks. Extensive experiments on a comprehensive benchmark demonstrate that the ISTS-PLM, utilizing a simple yet effective series-based representation for ISTS, consistently achieves state-of-the-art performance across various analytical tasks, such as classification, interpolation, and extrapolation, as well as few-shot and zero-shot learning scenarios, spanning scientific domains like healthcare and biomechanics.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبان از قبل آموزش دیده (PLMS) ، مانند ChatGPT ، زمینه پردازش زبان طبیعی را به طور قابل توجهی پیشرفت کرده اند.این پیشرفت الهام بخش مجموعه ای از مطالعات نوآورانه است که به بررسی اقتباس از PLMS با تجزیه و تحلیل سری زمانی می پردازد ، و قصد ایجاد یک مدل بنیادی یکپارچه را دارد که به کارهای مختلف تحلیلی سری زمانی می پردازد.با این حال ، این تلاش ها عمدتاً بر روی سری زمانی نمونه برداری شده (RSTS) متمرکز است ، و از چالش های منحصر به فرد ناشی از سری زمانی نمونه برداری نامنظم (ISTS) غافل می شود ، که با فواصل نمونه گیری غیر یکنواخت و داده های مفقود شده شایع مشخص می شوند.برای عبور از این شکاف ، این کار به بررسی پتانسیل PLM برای تجزیه و تحلیل ISTS می پردازد.ما با بررسی تأثیر روشهای مختلف برای نمایندگی IST ، با هدف به حداکثر رساندن اثربخشی PLM ها در این منطقه تحت تأثیر شروع می کنیم.علاوه بر این ، ما یک چارچوب مبتنی بر PLM یکپارچه ، ISTS-PLM را ارائه می دهیم ، که PLM های آگاه و متغیر متغیر متناسب با مدل سازی سری داخل و بین زمانه را ادغام می کند و شامل یک لایه تعبیه شده ورودی قابل یادگیری و یک لایه خروجی خاص برای کار استمقابله با وظایف تحلیلی متنوع.آزمایش های گسترده در مورد یک معیار جامع نشان می دهد که ISTS-PLM ، با استفاده از یک نمایش ساده و در عین حال مؤثر مبتنی بر سری برای ISTS ، به طور مداوم به عملکرد پیشرفته در کارهای مختلف تحلیلی مانند طبقه بندی ، درون یابی و برون یابی دست می یابد.و به عنوان چند سناریو یادگیری چند ضربه ای و صفر ، دامنه های علمی مانند مراقبت های بهداشتی و بیومکانیک.