ترجمه فارسی مقاله ترانسفورماتورهای از پیش آموزش‌دیده قابل تفسیر برای داده‌های سری زمانی قلب

چکیده

Decoder-only transformers are the backbone of the popular generative pre-trained transformer (GPT) series of large language models. In this work, we employ this framework to the analysis of clinical heart time-series data, to create two pre-trained general purpose cardiac models, termed PPG-PT and ECG-PT. We place a special emphasis on making both such pre-trained models fully interpretable. This is achieved firstly through aggregate attention maps which show that, in order to make predictions, the model focuses on similar points in previous cardiac cycles and gradually broadens its attention in deeper layers. Next, we show that tokens with the same value, which occur at different distinct points in the electrocardiography (ECG) and photoplethysmography (PPG) cycle, form separate clusters in high dimensional space. The clusters form according to phase, as the tokens propagate through the transformer blocks. Finally, we highlight that individual attention heads respond to specific physiologically relevent features, such as the dicrotic notch in PPG and the P-wave in ECG. It is also demonstrated that these pre-trained models are straightforward to fine-tune for tasks such as classification of atrial fibrillation (AF), and beat detection in photoplethysmography. For the example of AF, the fine-tuning took 11 minutes of computer time, and achieved the respective leave-one-subject-out AUCs of 0.99 and 0.93 for ECG and PPG within the MIMIC Perform AF dataset. In addition, the fine-tuned beat detector achieved a state-of-the-art F1 score of 98%, as well as uniquely providing a beat confidence level which acts as a signal quality estimator. Importantly, the fine-tuned models for AF screening are also fully explainable, with attention shifting to regions in the context that are strongly indicative of atrial fibrillation.

چکیده به فارسی (ترجمه ماشینی)

ترانسفورماتورهای فقط رمزگشایی ستون فقرات سری ترانسفورماتور از پیش آموزش از پیش آموزش (GPT) از مدل های بزرگ زبان هستند.در این کار ، ما از این چارچوب برای تجزیه و تحلیل داده های سریال قلب بالینی استفاده می کنیم تا دو مدل قلبی با هدف کلی از قبل آموزش داده شده ، که به آن PPG-PT و ECG-PT گفته می شود.ما تأکید ویژه ای در ساخت هر دو مدل از قبل آموزش دیده کاملاً قابل تفسیر داریم.این امر در مرحله اول از طریق نقشه های توجه کل حاصل می شود که نشان می دهد ، به منظور پیش بینی ، این مدل بر روی نقاط مشابه در چرخه های قلبی قبلی متمرکز شده و به تدریج توجه خود را در لایه های عمیق تر می کند.در مرحله بعد ، ما نشان می دهیم که توکن ها با همان مقدار ، که در نقاط متمایز مختلف در چرخه الکتروکاردیوگرافی (ECG) و چرخه فتوپلتیزوگرافی (PPG) رخ می دهند ، خوشه های جداگانه ای را در فضای ابعادی بالا تشکیل می دهند.خوشه ها مطابق فاز شکل می گیرند ، زیرا نشانه ها از طریق بلوک های ترانسفورماتور پخش می شوند.سرانجام ، ما برجسته می کنیم که سرهای توجه فردی به ویژگی های خاص فیزیولوژیکی ، مانند شکاف دیکروتیک در PPG و موج P در ECG پاسخ می دهند.همچنین نشان داده شده است که این مدل های از پیش آموزش دیده ساده هستند تا بتوانند برای کارهایی مانند طبقه بندی فیبریلاسیون دهلیزی (AF) تنظیم شوند و تشخیص را در فوتوپلیتسموگرافی انجام دهند.به عنوان مثال AF ، تنظیم دقیق 11 دقیقه از زمان رایانه طول کشید و AUC های مربوط به مرخصی مربوطه را از 0.99 و 0.93 برای ECG و PPG در مجموعه داده های MIMIC به دست آورد.علاوه بر این ، آشکارساز Beat با تنظیم دقیق ، نمره پیشرفته F1 98 ٪ و همچنین منحصر به فرد را فراهم می کند که سطح اطمینان ضرب و شتم را فراهم می کند که به عنوان یک برآوردگر کیفیت سیگنال عمل می کند.نکته مهم ، مدل های تنظیم شده خوب برای غربالگری AF نیز کاملاً قابل توضیح هستند ، با تغییر توجه به مناطقی در زمینه ای که به شدت نشانگر فیبریلاسیون دهلیزی است.