تولید خودکار گزارش‌های پزشکی از تصاویر رادیوگرافی، یکی از چالش‌های مهم و در عین حال پرباری است که می‌تواند بار کاری پزشکان را به طور چشمگیری کاهش داده و دقت مراقبت از بیماران را افزایش دهد. در این میان، رادیوگرافی قفسه سینه (CXR) به دلیل شیوع بالای استفاده و اهمیت تشخیصی، هدف اصلی تحقیقات بسیاری در حوزه هوش مصنوعی بوده است. مقاله حاضر به بررسی روشی نوین برای بهبود دقت و کارایی مدل‌های تولید گزارش CXR می‌پردازد؛ روشی که با تکیه بر تکنیک “مقداردهی اولیه گرم” (Warm Starting)، گامی مهم در جهت نزدیک‌تر شدن این فناوری به استقرار در محیط‌های بالینی برمی‌دارد.

این مقاله تحقیقاتی توسط Aaron Nicolson، Jason Dowling و Bevan Koopman ارائه شده است. این پژوهشگران در زمینه بینایی کامپیوتری و بازشناسی الگو (Computer Vision and Pattern Recognition) فعالیت دارند و تمرکز اصلی آن‌ها بر کاربرد هوش مصنوعی در حوزه پزشکی، به ویژه تحلیل تصاویر پزشکی و پردازش زبان طبیعی است. هدف اصلی آن‌ها، توسعه سیستم‌هایی است که بتوانند به طور خودکار و دقیق، اطلاعات بالینی حیاتی را از تصاویر CXR استخراج کرده و گزارش‌های قابل فهمی برای پزشکان تولید کنند.

به طور خلاصه، مقاله به موضوع تولید خودکار گزارش رادیوگرافی قفسه سینه (CXR) می‌پردازد. این فرایند پتانسیل بالایی برای کاهش حجم کاری پزشکان و بهبود مراقبت از بیماران دارد. با این حال، مدل‌های فعلی که عمدتاً از معماری رمزگذار-رمزگشا (encoder-to-decoder) بهره می‌برند، هنوز از نظر دقت تشخیصی به سطحی که برای استفاده در محیط بالینی نیاز است، نرسیده‌اند. برای غلبه بر این چالش، نویسندگان روش “مقداردهی اولیه گرم” را برای بخش‌های رمزگذار (encoder) و رمزگشا (decoder) مدل‌های تولید گزارش CXR مورد بررسی قرار داده‌اند. این روش شامل استفاده از وزن‌های از پیش آموزش‌دیده (pre-trained checkpoints) از مدل‌های مدرن بینایی کامپیوتری مانند Vision Transformer (ViT) و پردازش زبان طبیعی مانند PubMedBERT است.

این چکیده همچنین بیان می‌کند که هر یک از این چک‌پوینت‌ها بر روی مجموعه‌داده‌های شناخته‌شده MIMIC-CXR و IU X-Ray ارزیابی شده‌اند. نتایج تجربی نشان می‌دهند که ترکیب Convolutional Vision Transformer (CvT) که بر روی ImageNet-21K پیش‌آموزش دیده، برای رمزگذار و Distilled Generative Pre-trained Transformer 2 (DistilGPT2) برای رمزگشا، بهترین عملکرد را ارائه می‌دهند. این ترکیب، که با نام CvT2DistilGPT2 شناخته می‌شود، بهبود قابل توجهی را در معیارهای ارزیابی مانند CE F-1 (8.3% افزایش)، BLEU-4 (1.8% افزایش)، ROUGE-L (1.6% افزایش) و METEOR (1.0% افزایش) نسبت به مدل پیشرفته $mathcal{M}^2$ Transformer Progressive نشان داده است. گزارش‌های تولید شده توسط CvT2DistilGPT2 شباهت بیشتری به گزارش‌های رادیولوژیست‌ها دارند، که گواه اثربخشی رویکرد “مقداردهی اولیه گرم” در بهبود فرایند تولید گزارش CXR است. کد و چک‌پوینت‌های مربوط به این مدل در آدرس https://github.com/aehrc/cvt2distilgpt2 در دسترس عموم قرار گرفته است.

قلب تپنده این تحقیق، رویکردی است که برای ارتقاء کیفیت گزارش‌های تولیدی به کار گرفته شده است. نویسندگان به جای آموزش مدل‌های تولید گزارش از صفر (from scratch)، از تکنیک “مقداردهی اولیه گرم” (Warm Starting) استفاده کرده‌اند. این تکنیک به معنای آغاز فرایند آموزش یک مدل جدید با استفاده از وزن‌های یک مدل دیگر است که پیش از این بر روی داده‌های بزرگ و متنوعی آموزش دیده است.

در این پژوهش، دو بخش اصلی مدل تولید گزارش CXR، یعنی رمزگذار (encoder) که مسئول درک تصویر است، و رمزگشا (decoder) که مسئول تولید متن گزارش است، به صورت مجزا یا ترکیبی با چک‌پوینت‌های پیش‌آموزش‌دیده پر شده‌اند. این چک‌پوینت‌ها از دو حوزه اصلی هوش مصنوعی انتخاب شده‌اند:

• بینایی کامپیوتری: مدل‌هایی مانند Vision Transformer (ViT) و نسخه‌های پیشرفته‌تر آن چون Convolutional Vision Transformer (CvT) که بر روی مجموعه داده‌های عظیم تصویری مانند ImageNet-21K آموزش دیده‌اند. این مدل‌ها قابلیت بسیار بالایی در استخراج ویژگی‌های بصری پیچیده از تصاویر دارند.
• پردازش زبان طبیعی: مدل‌هایی مانند PubMedBERT که به طور خاص بر روی متون پزشکی و علمی، از جمله مقالات پایگاه داده PubMed، آموزش دیده‌اند. این مدل‌ها در درک مفاهیم و تولید متن مرتبط با حوزه پزشکی تخصص دارند.

نویسندگان چندین ترکیب مختلف از این چک‌پوینت‌ها را برای بخش‌های رمزگذار و رمزگشا امتحان کرده‌اند. به عنوان مثال، ممکن است یک رمزگذار مبتنی بر CvT با یک رمزگشای مبتنی بر DistilGPT2 ترکیب شود، یا سایر ترکیب‌های ممکن مورد سنجش قرار گیرند. سپس، هر یک از این مدل‌های ترکیبی بر روی دو مجموعه داده استاندارد و شناخته‌شده در زمینه CXR، یعنی MIMIC-CXR و IU X-Ray، آموزش و ارزیابی شده‌اند. معیارهای ارزیابی شامل دقت در بازتولید اطلاعات کلیدی (مانند F-1 Score)، روانی و طبیعی بودن متن (مانند BLEU و ROUGE) و انطباق با گزارش‌های انسانی (مانند METEOR) بوده‌اند.

ارزیابی دقیق و مقایسه‌ای این ترکیب‌ها، به نویسندگان اجازه داده است تا بهترین ترکیب چک‌پوینت‌ها را برای هر بخش (رمزگذار و رمزگشا) شناسایی کنند. رویکرد سیستماتیک آن‌ها به تست و مقایسه، تضمین‌کننده یافتن راه‌حلی است که نه تنها از نظر فنی قوی است، بلکه به طور عملی نیز نتایج ملموسی را در پی دارد.

نتایج این تحقیق، بر اثربخشی رویکرد “مقداردهی اولیه گرم” تأکید فراوانی دارد. یافته‌های کلیدی را می‌توان به شرح زیر دسته‌بندی کرد:

• برتری ترکیب CvT و DistilGPT2: مهم‌ترین یافته این پژوهش، شناسایی ترکیب بهینه برای مقداردهی اولیه است. بر اساس آزمایش‌ها، استفاده از چک‌پوینت CvT (پیش‌آموزش‌دیده بر روی ImageNet-21K) برای بخش رمزگذار و DistilGPT2 برای بخش رمزگشا، بهترین نتایج را به ارمغان آورده است. این ترکیب، که CvT2DistilGPT2 نامیده شده، عملکردی برتر نسبت به مدل پیشرفته قبلی، یعنی $mathcal{M}^2$ Transformer Progressive، از خود نشان داده است.
• بهبود چشمگیر در معیارهای ارزیابی: پیشرفت عملکرد CvT2DistilGPT2 به طور کمی قابل اندازه‌گیری است. این مدل توانسته است بهبودهای قابل توجهی را در معیارهای استاندارد ارزیابی تولید متن به شرح زیر کسب کند:
  • CE F-1: افزایش 8.3%
  • BLEU-4: افزایش 1.8%
  • ROUGE-L: افزایش 1.6%
  • METEOR: افزایش 1.0%

  این اعداد نشان‌دهنده توانایی بهتر مدل در تولید گزارش‌هایی هستند که هم از نظر محتوایی دقیق و هم از نظر ساختار زبانی منسجم و شبیه به گزارش‌های انسانی باشند.

• شباهت بیشتر به گزارش‌های رادیولوژیست‌ها: فراتر از معیارهای کمی، یافته کیفی حائز اهمیت این است که گزارش‌های تولید شده توسط مدل CvT2DistilGPT2، شباهت معنایی و ساختاری بیشتری به گزارش‌هایی دارند که توسط رادیولوژیست‌های انسانی تهیه می‌شوند. این امر نشان می‌دهد که مدل نه تنها الگوهای بصری را به درستی تشخیص می‌دهد، بلکه قادر است یافته‌های خود را به زبانی بیان کند که برای متخصصان پزشکی قابل درک و مفید است.
• اثربخشی “مقداردهی اولیه گرم”: به طور کلی، تحقیق نشان می‌دهد که استفاده از دانش و ویژگی‌های آموخته شده توسط مدل‌های بزرگ و عمومی (مانند ViT و GPT) و انتقال آن به وظیفه خاص تولید گزارش CXR، یک استراتژی بسیار مؤثر است. این روش به مدل امکان می‌دهد تا با استفاده از پایه‌ای قوی‌تر، سریع‌تر و با دقت بالاتری به نتایج مطلوب دست یابد.

این تحقیق دستاوردهای مهمی را در حوزه هوش مصنوعی پزشکی به ارمغان آورده و پتانسیل کاربردهای عملی فراوانی دارد:

• کاهش بار کاری بالینی: یکی از اصلی‌ترین مزایای استفاده از سیستم‌های خودکار تولید گزارش، کاهش حجم کاری پزشکان است. با تولید خودکار بخش قابل توجهی از گزارش‌ها، رادیولوژیست‌ها می‌توانند زمان بیشتری را به تحلیل موارد پیچیده، مشورت با بیماران و سایر وظایف حیاتی اختصاص دهند.
• افزایش سرعت و بهره‌وری: سیستم‌های خودکار می‌توانند گزارش‌ها را با سرعتی بسیار بیشتر از انسان تولید کنند. این امر به ویژه در مراکز درمانی پرمشغله که نیاز به پردازش سریع حجم زیادی از تصاویر CXR وجود دارد، بسیار ارزشمند است.
• استانداردسازی گزارش‌نویسی: مدل‌های هوش مصنوعی می‌توانند به استانداردسازی فرمت و محتوای گزارش‌ها کمک کنند. این موضوع می‌تواند ارتباط بین پزشکان و سیستم‌های پرونده الکترونیک سلامت (EHR) را بهبود بخشد.
• کمک به تشخیص زودهنگام: با تولید سریع‌تر گزارش‌ها و شناسایی یافته‌های احتمالی، این سیستم‌ها می‌توانند به تشخیص زودهنگام بیماری‌ها کمک کنند و در نتیجه، شانس موفقیت درمان را افزایش دهند.
• ابزاری کمکی برای پزشکان کم‌تجربه: گزارش‌های تولید شده توسط هوش مصنوعی می‌توانند به عنوان یک “چک‌لیست” یا “پیش‌نویس” برای رادیولوژیست‌های جوان‌تر یا کسانی که با یک حوزه تخصصی کمتر آشنا هستند، مفید باشند.
• دسترسی به ابزار قدرتمند: انتشار کد و چک‌پوینت‌های مدل CvT2DistilGPT2 توسط نویسندگان، یک دستاورد علمی و عملی مهم است. این امر به سایر محققان و توسعه‌دهندگان اجازه می‌دهد تا از این ابزار پیشرفته استفاده کرده، آن را بهبود بخشند و در پروژه‌های خود به کار گیرند.

به طور کلی، این تحقیق گامی عملی و ملموس به سوی تحقق ایده “رادیولوژیست ماشینی” یا حداقل “دستیار رادیولوژیست هوشمند” است که می‌تواند آینده مراقبت‌های بهداشتی را متحول کند.

مقاله “بهبود تولید گزارش رادیوگرافی قفسه سینه با استفاده از مقداردهی اولیه گرم” نشان می‌دهد که استفاده از تکنیک‌های پیشرفته یادگیری انتقالی (Transfer Learning)، به خصوص “مقداردهی اولیه گرم” با چک‌پوینت‌های مدل‌های مدرن بینایی کامپیوتری و پردازش زبان طبیعی، قادر به ارتقاء چشمگیر عملکرد مدل‌های خودکار تولید گزارش CXR است. نویسندگان با ارزیابی دقیق ترکیب‌های مختلف، توانسته‌اند بهترین استراتژی مقداردهی اولیه را شناسایی کنند که منجر به افزایش دقت، روانی و شباهت گزارش‌های تولیدی به گزارش‌های انسانی شده است.

یافته‌ها حاکی از آن است که ترکیب CvT (برای درک تصویر) و DistilGPT2 (برای تولید متن)، تحت عنوان CvT2DistilGPT2، توانسته است معیارهای کلیدی ارزیابی را بهبود بخشد و هم‌راستا با نیازهای بالینی، گزارش‌های با کیفیت‌تری تولید کند. این موفقیت، نه تنها دانش ما را در زمینه کاربرد هوش مصنوعی در پزشکی افزایش می‌دهد، بلکه مسیر را برای استقرار سیستم‌های دقیق‌تر و قابل اطمینان‌تر در محیط‌های واقعی هموار می‌سازد.

با توجه به پتانسیل بالای این روش برای کاهش بار کاری پزشکان، افزایش سرعت تشخیص و بهبود مراقبت از بیماران، توسعه و به‌کارگیری چنین مدل‌هایی در آینده نزدیک، امری دور از ذهن نیست. این تحقیق، که با ارائه کد و مدل، دانش خود را در اختیار جامعه علمی قرار داده است، به عنوان یک نقطه عطف در تلاش‌ها برای هوشمندسازی فرآیندهای پزشکی تلقی می‌شود.