ترجمه فارسی مقاله فراتر از LoRA: کاوش در تکنیک های تنظیم دقیق کارآمد برای مدل های بنیادی سری زمانی

چکیده

Time Series Foundation Models (TSFMs) have recently garnered attention for their ability to model complex, large-scale time series data across domains such as retail, finance, and transportation. However, their application to sensitive, domain-specific fields like healthcare remains challenging, primarily due to the difficulty of fine-tuning these models for specialized, out-of-domain tasks with scarce publicly available datasets. In this work, we explore the use of Parameter-Efficient Fine-Tuning (PEFT) techniques to address these limitations, focusing on healthcare applications, particularly ICU vitals forecasting for sepsis patients. We introduce and evaluate two selective (BitFit and LayerNorm Tuning) and two additive (VeRA and FourierFT) PEFT techniques on multiple configurations of the Chronos TSFM for forecasting vital signs of sepsis patients. Our comparative analysis demonstrates that some of these PEFT methods outperform LoRA in terms of parameter efficiency and domain adaptation, establishing state-of-the-art (SOTA) results in ICU vital forecasting tasks. Interestingly, FourierFT applied to the Chronos (Tiny) variant surpasses the SOTA model while fine-tuning only 2,400 parameters compared to the 700K parameters of the benchmark.

چکیده به فارسی (ترجمه ماشینی)

مدل های بنیاد سری زمانی (TSFMS) اخیراً به دلیل توانایی خود در مدل سازی داده های پیچیده و در مقیاس بزرگ در حوزه هایی مانند خرده فروشی ، امور مالی و حمل و نقل توجه کرده اند.با این حال ، کاربرد آنها در زمینه های حساس و خاص دامنه مانند مراقبت های بهداشتی همچنان چالش برانگیز است ، در درجه اول به دلیل دشواری تنظیم دقیق این مدل ها برای کارهای تخصصی و خارج از دامنه با مجموعه داده های کمیاب در دسترس است.در این کار ، ما استفاده از تکنیک های تنظیم دقیق پارامتر (PEFT) را برای پرداختن به این محدودیت ها ، با تمرکز بر کاربردهای مراقبت های بهداشتی ، به ویژه پیش بینی ICU Vitals برای بیماران سپسیس ، بررسی می کنیم.ما دو روش انتخابی انتخابی (BitFit و Layernorm) و دو روش افزودنی (Vera و Fourierft) را در تنظیمات متعدد Chronos TSFM برای پیش بینی علائم حیاتی بیماران مبتلا به سپسیس معرفی و ارزیابی می کنیم.تجزیه و تحلیل مقایسه ای ما نشان می دهد که برخی از این روشهای PEFT از LORA از نظر راندمان پارامتر و سازگاری دامنه بهتر عمل می کنند ، ایجاد پیشرفته ترین (SOTA) منجر به انجام کارهای پیش بینی حیاتی ICU می شود.جالب اینجاست که Fourierft اعمال شده بر روی نوع Chronos (Tiny) از مدل SOTA پیشی می گیرد و در مقایسه با پارامترهای 700K معیار تنها 2400 پارامتر تنظیم می کند.