ترجمه فارسی مقاله LIPCOT: برنامه نویسی پیش بینی کننده خطی مبتنی بر توکن ساز برای یادگیری خود سنجی داده های سری زمانی از طریق مدل های زبان

چکیده

Language models have achieved remarkable success in various natural language processing tasks. However, their application to time series data, a crucial component in many domains, remains limited. This paper proposes LiPCoT (Linear Predictive Coding based Tokenizer for time series), a novel tokenizer that encodes time series data into a sequence of tokens, enabling self-supervised learning of time series using existing Language model architectures such as BERT. Unlike traditional time series tokenizers that rely heavily on CNN encoder for time series feature generation, LiPCoT employs stochastic modeling through linear predictive coding to create a latent space for time series providing a compact yet rich representation of the inherent stochastic nature of the data. Furthermore, LiPCoT is computationally efficient and can effectively handle time series data with varying sampling rates and lengths, overcoming common limitations of existing time series tokenizers. In this proof-of-concept work, we present the effectiveness of LiPCoT in classifying Parkinson’s disease (PD) using an EEG dataset from 46 participants. In particular, we utilize LiPCoT to encode EEG data into a small vocabulary of tokens and then use BERT for self-supervised learning and the downstream task of PD classification. We benchmark our approach against several state-of-the-art CNN-based deep learning architectures for PD detection. Our results reveal that BERT models utilizing self-supervised learning outperformed the best-performing existing method by 7.1% in precision, 2.3% in recall, 5.5% in accuracy, 4% in AUC, and 5% in F1-score highlighting the potential for self-supervised learning even on small datasets. Our work will inform future foundational models for time series, particularly for self-supervised learning.

چکیده به فارسی (ترجمه ماشینی)

مدل های زبان در کارهای مختلف پردازش زبان طبیعی به موفقیت چشمگیری رسیده اند.با این حال ، کاربرد آنها در داده های سری زمانی ، یک مؤلفه مهم در بسیاری از حوزه ها ، محدود است.در این مقاله LIPCOT (رمزگذاری پیش بینی خطی مبتنی بر توکن ساز برای سری های زمانی) ، یک توکین کننده جدید که داده های سری زمانی را به دنباله ای از نشانه ها رمزگذاری می کند ، پیشنهاد می کند ، و این امکان را فراهم می کند که یادگیری خودکاره ای از سری زمانی با استفاده از معماری های مدل زبان موجود مانند BERT باشد.بر خلاف نشانه های سری زمانی سنتی که به شدت به رمزگذار CNN برای تولید ویژگی های سری زمانی متکی هستند ، Lipcot از طریق برنامه نویسی پیش بینی کننده خطی از مدل سازی تصادفی استفاده می کند تا یک فضای نهفته برای سری زمانی ایجاد کند و نمایشی جمع و جور و غنی از ماهیت تصادفی ذاتی داده ها را ارائه دهد.علاوه بر این ، LIPCOT از نظر محاسباتی کارآمد است و می تواند داده های سری زمانی را با نرخ و طول نمونه برداری متفاوت انجام دهد و بر محدودیت های متداول نشانه های سری زمانی موجود غلبه کند.در این کار اثبات مفهوم ، ما اثربخشی رژ لب در طبقه بندی بیماری پارکینسون (PD) را با استفاده از مجموعه داده EEG از 46 شرکت کننده ارائه می دهیم.به طور خاص ، ما از LIPCOT برای رمزگذاری داده های EEG در یک واژگان کوچک از نشانه ها استفاده می کنیم و سپس از BERT برای یادگیری خودکشی و کار پایین دست طبقه بندی PD استفاده می کنیم.ما رویکرد خود را در برابر چندین معمار پیشرفته یادگیری عمیق مبتنی بر CNN برای تشخیص PD معیار می کنیم.نتایج ما نشان می دهد که مدل های BERT با استفاده از یادگیری خود سنجی از روش بهترین عملکرد موجود 7.1 ٪ با دقت ، 2.3 ٪ در فراخوان ، 5.5 ٪ در دقت ، 4 ٪ در AUC و 5 ٪ در نمره F1 را برجسته می کند که پتانسیل را برای آن برجسته می کند.یادگیری خود سنج حتی در مجموعه داده های کوچک.کار ما مدل های بنیادی آینده را برای سری های زمانی ، به ویژه برای یادگیری خودکارد ، آگاه می کند.