ترجمه فارسی مقاله رمزگشایی احساسات قابل توضیح برای بینایی انسان و کامپیوتر

چکیده

Modern Machine Learning (ML) has significantly advanced various research fields, but the opaque nature of ML models hinders their adoption in several domains. Explainable AI (XAI) addresses this challenge by providing additional information to help users understand the internal decision-making process of ML models. In the field of neuroscience, enriching a ML model for brain decoding with attribution-based XAI techniques means being able to highlight which brain areas correlate with the task at hand, thus offering valuable insights to domain experts. In this paper, we analyze human and Computer Vision (CV) systems in parallel, training and explaining two ML models based respectively on functional Magnetic Resonance Imaging (fMRI) and movie frames. We do so by leveraging the “StudyForrest” dataset, which includes functional Magnetic Resonance Imaging (fMRI) scans of subjects watching the “Forrest Gump” movie, emotion annotations, and eye-tracking data. For human vision the ML task is to link fMRI data with emotional annotations, and the explanations highlight the brain regions strongly correlated with the label. On the other hand, for computer vision, the input data is movie frames, and the explanations are pixel-level heatmaps. We cross-analyzed our results, linking human attention (obtained through eye-tracking) with XAI saliency on CV models and brain region activations. We show how a parallel analysis of human and computer vision can provide useful information for both the neuroscience community (allocation theory) and the ML community (biological plausibility of convolutional models).

چکیده به فارسی (ترجمه ماشینی)

یادگیری ماشین مدرن (ML) زمینه های تحقیقاتی مختلفی را به طور قابل توجهی پیشرفت کرده است ، اما ماهیت مات مدل های ML مانع پذیرش آنها در چندین حوزه می شود.AI قابل توضیح (XAI) با ارائه اطلاعات اضافی برای کمک به کاربران در درک فرایند تصمیم گیری داخلی مدل های ML ، به این چالش می پردازد.در زمینه علوم اعصاب ، غنی سازی یک مدل ML برای رمزگشایی مغز با تکنیک های XAI مبتنی بر انتساب به معنای این است که بتوانید برجسته کنید که مناطق مغزی با وظیفه مورد نظر ارتباط دارند ، بنابراین بینش های ارزشمندی را برای متخصصان دامنه ارائه می دهد.در این مقاله ، ما سیستم های دید انسان و رایانه (CV) را به صورت موازی ، آموزش و توضیح دو مدل ML به ترتیب بر اساس تصویربرداری رزونانس مغناطیسی عملکردی (FMRI) و فریم های فیلم تجزیه و تحلیل می کنیم.ما این کار را با استفاده از مجموعه داده های “StudyForrest” انجام می دهیم ، که شامل اسکن های عملکردی رزونانس مغناطیسی عملکردی (FMRI) از موضوعاتی است که در حال تماشای فیلم “فارست گامپ” ، حاشیه نویسی احساسات و داده های ردیابی چشم هستند.برای دید انسان وظیفه ML پیوند داده های fMRI با حاشیه نویسی عاطفی است و توضیحات مناطق مغز را به شدت با برچسب همبستگی می کند.از طرف دیگر ، برای دید رایانه ، داده های ورودی فریم های فیلم هستند و توضیحات آن از طریق صفحه گرمای پیکسل هستند.ما نتایج خود را متقاطع کردیم و توجه انسان (به دست آمده از طریق ردیابی چشم) را با شوری XAI در مدل های CV و فعال سازی منطقه مغز پیوند دادیم.ما نشان می دهیم که چگونه یک تجزیه و تحلیل موازی از دید انسان و رایانه می تواند اطلاعات مفیدی را برای جامعه علوم اعصاب (تئوری تخصیص) و جامعه ML (محتمل بیولوژیکی مدل های حلقوی) ارائه دهد.