مقاله یافتن مدل های بنیادی برای طبقه بندی سری زمانی با یک کار پیش متن

چکیده

Over the past decade, Time Series Classification (TSC) has gained an increasing attention. While various methods were explored, deep learning – particularly through Convolutional Neural Networks (CNNs)-stands out as an effective approach. However, due to the limited availability of training data, defining a foundation model for TSC that overcomes the overfitting problem is still a challenging task. The UCR archive, encompassing a wide spectrum of datasets ranging from motion recognition to ECG-based heart disease detection, serves as a prime example for exploring this issue in diverse TSC scenarios. In this paper, we address the overfitting challenge by introducing pre-trained domain foundation models. A key aspect of our methodology is a novel pretext task that spans multiple datasets. This task is designed to identify the originating dataset of each time series sample, with the goal of creating flexible convolution filters that can be applied across different datasets. The research process consists of two phases: a pre-training phase where the model acquires general features through the pretext task, and a subsequent fine-tuning phase for specific dataset classifications. Our extensive experiments on the UCR archive demonstrate that this pre-training strategy significantly outperforms the conventional training approach without pre-training. This strategy effectively reduces overfitting in small datasets and provides an efficient route for adapting these models to new datasets, thus advancing the capabilities of deep learning in TSC.

چکیده به فارسی (ترجمه ماشینی)

طی یک دهه گذشته ، طبقه بندی سری زمانی (TSC) توجه فزاینده ای را به خود جلب کرده است.در حالی که روشهای مختلفی مورد بررسی قرار گرفت ، یادگیری عمیق – به ویژه از طریق شبکه های عصبی حلقوی (CNN) – به عنوان یک رویکرد مؤثر ، استاندارد می شود.با این حال ، به دلیل محدود بودن در دسترس بودن داده های آموزشی ، تعریف یک مدل پایه برای TSC که بر مشکل بیش از حد غلبه می کند ، هنوز یک کار چالش برانگیز است.بایگانی UCR ، شامل طیف گسترده ای از مجموعه داده ها از تشخیص حرکت گرفته تا تشخیص بیماری های قلبی مبتنی بر ECG ، به عنوان نمونه بارز برای بررسی این موضوع در سناریوهای متنوع TSC است.در این مقاله ، ما با معرفی مدل های بنیاد دامنه از پیش آموزش دیده ، به چالش بیش از حد پرداخته ایم.جنبه اصلی روش ما یک کار بهانه جدید است که چندین مجموعه داده را شامل می شود.این کار برای شناسایی مجموعه داده های اصلی هر نمونه سری زمانی طراحی شده است ، با هدف ایجاد فیلترهای انعطاف پذیر انعطاف پذیر که می تواند در مجموعه داده های مختلف اعمال شود.فرایند تحقیق از دو مرحله تشکیل شده است: یک مرحله قبل از آموزش که در آن مدل از طریق کار بهانه ویژگی های کلی را بدست می آورد و یک مرحله تنظیم دقیق بعدی برای طبقه بندی مجموعه داده های خاص.آزمایش های گسترده ما در بایگانی UCR نشان می دهد که این استراتژی قبل از آموزش به طور قابل توجهی از رویکرد آموزش معمولی بدون پیش از آموزش بهتر عمل می کند.این استراتژی به طور مؤثر باعث کاهش بیش از حد در مجموعه داده های کوچک می شود و مسیری کارآمد برای تطبیق این مدل ها با مجموعه داده های جدید فراهم می کند ، بنابراین قابلیت های یادگیری عمیق در TSC را پیش می برد.