مقاله CNN-BiLSTM مبتنی بر توجه برای طبقه‌بندی حالت خواب داده‌های تصویربرداری میدان وسیع کلسیم فضایی-زمانی

چکیده

Background: Wide-field calcium imaging (WFCI) with genetically encoded calcium indicators allows for spatiotemporal recordings of neuronal activity in mice. When applied to the study of sleep, WFCI data are manually scored into the sleep states of wakefulness, non-REM (NREM) and REM by use of adjunct EEG and EMG recordings. However, this process is time-consuming, invasive and often suffers from low inter- and intra-rater reliability. Therefore, an automated sleep state classification method that operates on spatiotemporal WFCI data is desired. New Method: A hybrid network architecture consisting of a convolutional neural network (CNN) to extract spatial features of image frames and a bidirectional long short-term memory network (BiLSTM) with attention mechanism to identify temporal dependencies among different time points was proposed to classify WFCI data into states of wakefulness, NREM and REM sleep. Results: Sleep states were classified with an accuracy of 84% and Cohen’s kappa of 0.64. Gradient-weighted class activation maps revealed that the frontal region of the cortex carries more importance when classifying WFCI data into NREM sleep while posterior area contributes most to the identification of wakefulness. The attention scores indicated that the proposed network focuses on short- and long-range temporal dependency in a state-specific manner. Comparison with Existing Method: On a 3-hour WFCI recording, the CNN-BiLSTM achieved a kappa of 0.67, comparable to a kappa of 0.65 corresponding to the human EEG/EMG-based scoring. Conclusions: The CNN-BiLSTM effectively classifies sleep states from spatiotemporal WFCI data and will enable broader application of WFCI in sleep.

چکیده به فارسی (ترجمه ماشینی)

سابقه و هدف: تصویربرداری کلسیم در میدان گسترده (WFCI) با شاخص های کلسیم رمزگذاری شده ژنتیکی امکان ضبط مکانی و مکانی فعالیت عصبی در موش ها را فراهم می کند.هنگامی که برای مطالعه خواب اعمال می شود ، داده های WFCI به صورت دستی در حالت خواب بیدار شدن ، غیر REM (NREM) و REM با استفاده از ضبط های کمکی EEG و EMG به دست می آیند.با این حال ، این فرایند وقت گیر ، تهاجمی است و اغلب از قابلیت اطمینان بین و داخل و داخل رنج می برد.بنابراین ، یک روش طبقه بندی خودکار حالت خواب که بر اساس داده های WFCI Spatiotemporal کار می کند ، مورد نظر است.روش جدید: یک معماری شبکه ترکیبی متشکل از یک شبکه عصبی حلقوی (CNN) برای استخراج ویژگی های مکانی قاب های تصویر و یک شبکه حافظه کوتاه مدت کوتاه دو طرفه (BILSTM) با مکانیسم توجه برای شناسایی وابستگی های زمانی در نقاط مختلف زمانی برای طبقه بندی ارائه شده استداده های WFCI در حالت های بیداری ، NREM و REM خواب.يافته ها: حالت خواب با دقت 84 ٪ و كاپا کوهن 0.64 طبقه بندی شد.نقشه های فعال سازی کلاس با وزن شیب نشان داد که منطقه فرونتال قشر هنگام طبقه بندی داده های WFCI به خواب NREM اهمیت بیشتری می بخشد در حالی که ناحیه خلفی بیشتر در شناسایی بیداری نقش دارد.نمرات توجه نشان می دهد که شبکه پیشنهادی بر وابستگی زمانی کوتاه و دوربرد به روشی خاص از حالت متمرکز است.مقایسه با روش موجود: در ضبط WFCI 3 ساعته ، CNN-BILSTM به یک کاپا 0.67 ، قابل مقایسه با یک کاپا 0.65 مربوط به امتیاز دهی مبتنی بر EEG/EMG انسانی رسید.نتیجه گیری: CNN-BILSTM به طور مؤثر حالت های خواب را از داده های مکانی WFCI مکانی طبقه بندی می کند و کاربرد گسترده تری از WFCI را در خواب امکان پذیر می کند.