در عصر حاضر، با افزایش روزافزون حجم داده‌های پزشکی، به‌کارگیری روش‌های هوش مصنوعی و یادگیری ماشین برای تحلیل و استخراج دانش از این داده‌ها اهمیت بسزایی یافته است. به‌طور خاص، استفاده از مدل‌های چندوجهی (Multimodal) که قادر به پردازش و ادغام انواع مختلف داده‌ها مانند تصاویر پزشکی و متن‌های مرتبط با آن‌ها هستند، می‌تواند به تشخیص دقیق‌تر و سریع‌تر بیماری‌ها کمک کند. مقاله حاضر با عنوان “That’s the Wrong Lung! Evaluating and Improving the Interpretability of Unsupervised Multimodal Encoders for Medical Data” به بررسی چالش‌های موجود در تفسیرپذیری این مدل‌ها و ارائه راهکارهایی برای بهبود آن‌ها می‌پردازد.

این مقاله توسط دنیس جرد مک‌اینرنی، جفری یانگ، یان-ویلم ون ده مینت و بایِرون سی. والاس به رشته تحریر درآمده است. نویسندگان از متخصصان حوزه یادگیری ماشین، هوش مصنوعی، بینایی کامپیوتر و پردازش تصویر و ویدئو هستند. زمینه تخصصی آن‌ها بر توسعه و ارزیابی مدل‌های یادگیری عمیق برای کاربردهای پزشکی، به‌ویژه تحلیل داده‌های چندوجهی در پرونده‌های الکترونیکی سلامت (EHRs) متمرکز است.

این محققان با سابقه درخشان در زمینه یادگیری ماشین در حوزه سلامت، به خوبی با چالش‌های موجود در پیاده‌سازی و اعتبارسنجی مدل‌های هوش مصنوعی در محیط‌های بالینی آشنا هستند. تمرکز اصلی آن‌ها بر روی ایجاد مدل‌هایی است که نه تنها دقت بالایی داشته باشند، بلکه قابلیت تفسیرپذیری و اعتمادپذیری لازم را نیز دارا باشند تا پزشکان بتوانند با اطمینان از آن‌ها در تصمیم‌گیری‌های خود استفاده کنند.

این مقاله به ارزیابی و بهبود قابلیت تفسیرپذیری مدل‌های چندوجهی بدون‌نظارت می‌پردازد که بر روی پرونده‌های الکترونیکی سلامت (EHRs) آموزش داده شده‌اند. هدف اصلی، یادگیری بازنمایی‌هایی است که بتوانند با حداقل نظارت به وظایف پایین‌دستی منتقل شوند. مدل‌های چندوجهی مدرن، همترازی‌های نرم (Soft Alignments) محلی بین نواحی تصویر و جملات متن ایجاد می‌کنند. این امر در حوزه پزشکی از اهمیت ویژه‌ای برخوردار است، زیرا این همترازی‌ها می‌توانند نواحی مرتبط در تصویر را که به پدیده‌های خاص توصیف شده در متن آزاد اشاره دارند، برجسته کنند.

در حالی که تحقیقات گذشته نشان داده‌اند که “نقشه‌های حرارتی” توجه (Attention Heatmaps) را می‌توان به این صورت تفسیر کرد، ارزیابی کمی از چنین همترازی‌هایی صورت نگرفته است. در این مقاله، همترازی‌های حاصل از یک مدل چندوجهی (تصویر و متن) پیشرفته برای EHR را با حاشیه‌نویسی‌های انسانی که نواحی تصویر را به جملات مرتبط می‌کنند، مقایسه کرده‌اند. یافته اصلی این است که متن اغلب تأثیر ضعیف یا غیرقابل شهودی بر توجه دارد؛ همترازی‌ها به طور پیوسته اطلاعات اولیه آناتومیکی را منعکس نمی‌کنند. علاوه بر این، تغییرات مصنوعی — مانند جایگزینی “چپ” با “راست” — تأثیر قابل توجهی بر برجسته‌سازی‌ها ندارند.

تکنیک‌های ساده‌ای مانند اجازه دادن به مدل برای انصراف از توجه به تصویر و تنظیم دقیق (Fine-tuning) چند-شاتی، از نظر توانایی آن‌ها در بهبود همترازی‌ها با نظارت بسیار کم یا بدون نظارت، امیدوارکننده به نظر می‌رسند. کد و نقاط بررسی (Checkpoints) این تحقیق به صورت متن‌باز در دسترس قرار داده شده‌اند.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

• آماده‌سازی داده‌ها: جمع‌آوری مجموعه داده‌ای از تصاویر پزشکی (مانند رادیوگرافی قفسه سینه) همراه با گزارش‌های متنی مرتبط از پرونده‌های الکترونیکی سلامت (EHRs).
• آموزش مدل چندوجهی: آموزش یک مدل یادگیری عمیق چندوجهی (به طور خاص، یک مدل رمزگذار-رمزگشا) برای یادگیری همترازی بین نواحی تصویر و جملات متن. این مدل با استفاده از رویکرد یادگیری بدون‌نظارت آموزش داده می‌شود.
• ارزیابی همترازی‌ها: مقایسه همترازی‌های تولید شده توسط مدل با حاشیه‌نویسی‌های انسانی که ارتباط بین نواحی تصویر و جملات متن را مشخص می‌کنند. این ارزیابی به منظور تعیین میزان دقت و قابلیت تفسیرپذیری همترازی‌های مدل انجام می‌شود.
• آزمایش با تغییرات مصنوعی: ایجاد تغییرات مصنوعی در متن (مانند جایگزینی کلمات کلیدی) به منظور بررسی حساسیت مدل به اطلاعات معنایی موجود در متن.
• بهبود همترازی‌ها: اعمال تکنیک‌های ساده (مانند اجازه دادن به مدل برای انصراف از توجه به تصویر و تنظیم دقیق چند-شاتی) به منظور بهبود دقت و قابلیت تفسیرپذیری همترازی‌های مدل.

به عنوان مثال، در مرحله ارزیابی همترازی‌ها، از معیارهای کمی مانند دقت، بازخوانی و امتیاز F1 برای اندازه‌گیری میزان تطابق بین همترازی‌های تولید شده توسط مدل و حاشیه‌نویسی‌های انسانی استفاده می‌شود. همچنین، محققان به صورت کیفی نتایج همترازی‌ها را بررسی می‌کنند تا الگوهای احتمالی خطا و ضعف‌های مدل را شناسایی کنند.

یافته‌های اصلی این تحقیق عبارتند از:

• تأثیر ضعیف متن بر توجه: متن اغلب تأثیر ضعیف یا غیرقابل شهودی بر توجه مدل دارد. به عبارت دیگر، مدل همیشه نواحی مرتبط در تصویر را بر اساس اطلاعات موجود در متن برجسته نمی‌کند.
• عدم انعکاس اطلاعات آناتومیکی: همترازی‌های تولید شده توسط مدل به طور پیوسته اطلاعات اولیه آناتومیکی را منعکس نمی‌کنند. برای مثال، ممکن است مدل به اشتباه ناحیه ریه راست را به جملاتی مرتبط کند که در مورد ریه چپ صحبت می‌کنند.
• عدم حساسیت به تغییرات مصنوعی: تغییرات مصنوعی در متن (مانند جایگزینی “چپ” با “راست”) تأثیر قابل توجهی بر برجسته‌سازی‌های مدل ندارند. این نشان می‌دهد که مدل به طور کامل اطلاعات معنایی موجود در متن را درک نمی‌کند.
• امیدوارکننده بودن تکنیک‌های بهبود: تکنیک‌های ساده‌ای مانند اجازه دادن به مدل برای انصراف از توجه به تصویر و تنظیم دقیق چند-شاتی، از نظر توانایی آن‌ها در بهبود همترازی‌ها با نظارت بسیار کم یا بدون نظارت، امیدوارکننده به نظر می‌رسند.

به عنوان مثال، نتایج نشان داد که با استفاده از تکنیک تنظیم دقیق چند-شاتی، دقت همترازی‌های مدل به طور قابل توجهی افزایش یافته و مدل قادر به برجسته‌سازی دقیق‌تر نواحی مرتبط در تصویر شده است.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• بهبود دقت تشخیص پزشکی: با بهبود قابلیت تفسیرپذیری مدل‌های چندوجهی، پزشکان می‌توانند با اطمینان بیشتری از این مدل‌ها در تشخیص بیماری‌ها استفاده کنند. به عنوان مثال، یک مدل چندوجهی بهبودیافته می‌تواند به پزشکان کمک کند تا به سرعت و با دقت بیشتری ناهنجاری‌های موجود در تصاویر رادیوگرافی قفسه سینه را شناسایی کنند.
• کاهش بار کاری پزشکان: مدل‌های چندوجهی می‌توانند به صورت خودکار ارتباط بین تصاویر پزشکی و گزارش‌های متنی را استخراج کنند و اطلاعات مرتبط را به پزشکان ارائه دهند. این امر می‌تواند به کاهش بار کاری پزشکان و افزایش سرعت و دقت آن‌ها در تشخیص و درمان بیماری‌ها کمک کند.
• توسعه مدل‌های اعتمادپذیرتر: با تمرکز بر روی قابلیت تفسیرپذیری مدل‌ها، این تحقیق به توسعه مدل‌های هوش مصنوعی اعتمادپذیرتر در حوزه پزشکی کمک می‌کند. این امر باعث می‌شود که پزشکان و متخصصان حوزه سلامت با اطمینان بیشتری از این مدل‌ها در تصمیم‌گیری‌های خود استفاده کنند.
• ارائه راهکارهایی برای بهبود مدل‌های چندوجهی: این تحقیق راهکارهایی عملی و موثر برای بهبود قابلیت تفسیرپذیری مدل‌های چندوجهی ارائه می‌دهد. این راهکارها می‌توانند توسط محققان و توسعه‌دهندگان حوزه یادگیری ماشین برای ایجاد مدل‌های بهتر و کارآمدتر مورد استفاده قرار گیرند.

مقاله “ارزیابی و بهبود قابلیت تفسیرپذیری رمزگذارهای چندوجهی بدون‌نظارت برای داده‌های پزشکی” به بررسی چالش‌های موجود در تفسیرپذیری مدل‌های چندوجهی در حوزه پزشکی و ارائه راهکارهایی برای بهبود آن‌ها می‌پردازد. یافته‌های این تحقیق نشان می‌دهد که مدل‌های چندوجهی موجود اغلب در استخراج اطلاعات معنایی از متن و همترازی دقیق بین تصاویر و متون مرتبط با مشکل مواجه هستند. با این حال، تکنیک‌های ساده‌ای مانند اجازه دادن به مدل برای انصراف از توجه به تصویر و تنظیم دقیق چند-شاتی، می‌توانند به طور قابل توجهی دقت و قابلیت تفسیرپذیری این مدل‌ها را بهبود بخشند.

این تحقیق گامی مهم در جهت توسعه مدل‌های هوش مصنوعی اعتمادپذیرتر و کارآمدتر در حوزه پزشکی است و می‌تواند به بهبود دقت تشخیص پزشکی، کاهش بار کاری پزشکان و توسعه مدل‌های اعتمادپذیرتر کمک کند. با ارائه کد و نقاط بررسی تحقیق به صورت متن‌باز، نویسندگان این مقاله زمینه را برای تحقیقات بیشتر و توسعه کاربردهای عملی مدل‌های چندوجهی در حوزه پزشکی فراهم کرده‌اند. در آینده، تمرکز بر روی توسعه روش‌های پیشرفته‌تر برای همترازی تصاویر و متون پزشکی و همچنین ارزیابی دقیق‌تر قابلیت تفسیرپذیری مدل‌ها می‌تواند به ایجاد مدل‌های هوش مصنوعی قدرتمندتر و کاربردی‌تر در حوزه سلامت منجر شود.