در سال‌های اخیر، پیشرفت‌های چشمگیری در زمینه یادگیری عمیق و به‌ویژه شبکه‌های عصبی کانولوشن (Convolutional Neural Networks یا CNNs) در حوزه بینایی ماشین و پردازش تصویر پزشکی حاصل شده است. با این حال، مدل‌های ترنسفورمر (Transformer)، که به‌طور گسترده در پردازش زبان طبیعی (Natural Language Processing یا NLP) مورد استفاده قرار می‌گیرند، هنوز نتوانسته‌اند جایگاه خود را در جامعه تصویربرداری پزشکی به‌طور کامل تثبیت کنند. مقاله حاضر با عنوان nnFormer: ترنسفورمر درهم‌آمیخته برای قطعه‌بندی حجمی به بررسی این موضوع و ارائه یک معماری نوین مبتنی بر ترنسفورمر برای قطعه‌بندی تصاویر پزشکی سه‌بعدی می‌پردازد.

اهمیت این مقاله از چند جنبه قابل بررسی است:

• استفاده از ترنسفورمرها در تصویربرداری پزشکی: ترنسفورمرها، به دلیل توانایی خود در مدل‌سازی وابستگی‌های طولانی‌مدت، پتانسیل بالایی برای بهبود عملکرد شبکه‌های عصبی کانولوشن در قطعه‌بندی تصاویر پزشکی دارند.
• غلبه بر محدودیت‌های CNNها: شبکه‌های CNN، با وجود کارایی بالا، دارای یک سوگیری القایی فضایی (spatial inductive bias) هستند که می‌تواند عملکرد آن‌ها را در برخی موارد محدود کند. ترنسفورمرها می‌توانند به رفع این محدودیت کمک کنند.
• قطعه‌بندی حجمی: بسیاری از کاربردهای تصویربرداری پزشکی نیازمند پردازش تصاویر سه‌بعدی (حجمی) هستند. این مقاله به ارائه یک معماری اختصاصی برای قطعه‌بندی حجمی می‌پردازد.

زمینه تحقیق این مقاله، تلفیق قدرت مدل‌سازی وابستگی‌های طولانی‌مدت ترنسفورمرها با کارایی شبکه‌های عصبی کانولوشن در پردازش تصاویر پزشکی است. هدف، ارائه یک معماری جدید است که بتواند عملکرد بهتری نسبت به روش‌های موجود در قطعه‌بندی تصاویر حجمی داشته باشد.

این مقاله توسط Hong-Yu Zhou، Jiansen Guo، Yinghao Zhang، Lequan Yu، Liansheng Wang و Yizhou Yu نگارش شده است. این محققان در زمینه بینایی ماشین (Computer Vision) و تشخیص الگو (Pattern Recognition) فعالیت دارند و تجربیات ارزشمندی در زمینه یادگیری عمیق و پردازش تصویر پزشکی دارند. تخصص آنها در ترکیب با شناخت عمیق از چالش های موجود در قطعه بندی تصاویر پزشکی، منجر به ارائه یک راهکار نوآورانه در این مقاله شده است.

چکیده مقاله به این صورت است که ترنسفورمرها، که در پردازش زبان طبیعی بسیار موفق عمل کرده‌اند، هنوز توجه چندانی را از سوی جامعه تصویربرداری پزشکی به خود جلب نکرده‌اند. با توجه به توانایی ترنسفورمرها در بهره‌برداری از وابستگی‌های طولانی‌مدت، انتظار می‌رود که این مدل‌ها بتوانند به شبکه‌های عصبی کانولوشن کمک کنند تا بر محدودیت‌های ذاتی سوگیری القایی فضایی خود غلبه کنند. با این حال، اکثر رویکردهای قطعه‌بندی مبتنی بر ترنسفورمر که اخیراً پیشنهاد شده‌اند، صرفاً از ترنسفورمرها به عنوان ماژول‌های کمکی برای کمک به رمزگذاری زمینه کلی به نمایش‌های کانولوشن استفاده می‌کنند. برای رفع این مشکل، ما nnFormer را معرفی می‌کنیم، یک ترنسفورمر سه‌بعدی برای قطعه‌بندی تصاویر پزشکی حجمی. nnFormer نه تنها از ترکیب کانولوشن درهم‌آمیخته و عملیات خود-توجهی (self-attention) بهره می‌برد، بلکه مکانیسم خود-توجهی محلی و سراسری مبتنی بر حجم را نیز برای یادگیری نمایش‌های حجمی معرفی می‌کند. علاوه بر این، nnFormer استفاده از توجه پرشی (skip attention) را برای جایگزینی عملیات جمع/الحاق سنتی در اتصالات پرشی در معماری‌های مشابه U-Net پیشنهاد می‌کند. آزمایش‌ها نشان می‌دهد که nnFormer به طور قابل توجهی عملکرد بهتری نسبت به همتایان مبتنی بر ترنسفورمر قبلی با حاشیه‌های زیاد در سه مجموعه داده عمومی دارد. در مقایسه با nnUNet، nnFormer نتایج HD95 بسیار کمتری و نتایج DSC قابل مقایسه‌ای را تولید می‌کند. علاوه بر این، نشان می‌دهیم که nnFormer و nnUNet در ترکیب مدل بسیار مکمل یکدیگر هستند.

به طور خلاصه، مقاله nnFormer یک معماری نوین مبتنی بر ترنسفورمر برای قطعه‌بندی تصاویر پزشکی حجمی ارائه می‌کند که از ترکیب کانولوشن و خود-توجهی، مکانیسم خود-توجهی محلی و سراسری، و توجه پرشی بهره می‌برد. نتایج تجربی نشان می‌دهد که این معماری عملکرد بهتری نسبت به روش‌های موجود دارد و می‌تواند با روش‌های دیگر ترکیب شود تا عملکرد بهتری حاصل شود.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

• طراحی معماری nnFormer: ارائه یک معماری جدید مبتنی بر ترنسفورمر که از ترکیب کانولوشن درهم‌آمیخته و خود-توجهی، مکانیسم خود-توجهی محلی و سراسری، و توجه پرشی بهره می‌برد.
• پیاده‌سازی و آموزش مدل: پیاده‌سازی معماری nnFormer با استفاده از یک چارچوب یادگیری عمیق مانند PyTorch و آموزش مدل با استفاده از مجموعه‌های داده تصویربرداری پزشکی حجمی.
• ارزیابی عملکرد مدل: ارزیابی عملکرد مدل nnFormer بر روی مجموعه‌های داده مستقل و مقایسه آن با روش‌های موجود با استفاده از معیارهای ارزیابی مناسب مانند Dice Similarity Coefficient (DSC) و Hausdorff Distance (HD95).
• تجزیه و تحلیل نتایج: تجزیه و تحلیل نتایج به دست آمده و بررسی نقاط قوت و ضعف معماری nnFormer.
• ترکیب با روش‌های دیگر: بررسی امکان ترکیب معماری nnFormer با روش‌های دیگر مانند nnUNet برای بهبود عملکرد کلی.

به‌طور خاص، استفاده از توجه پرشی به جای اتصالات پرشی سنتی در معماری U-Net، یک نوآوری مهم در این مقاله است. توجه پرشی به مدل اجازه می‌دهد تا اطلاعات مهم را از لایه‌های پایین‌تر به لایه‌های بالاتر منتقل کند و در عین حال اطلاعات غیرضروری را فیلتر کند.

همچنین، استفاده از خود-توجهی محلی و سراسری به مدل کمک می‌کند تا وابستگی‌های بین پیکسل‌ها را در سطح محلی و سراسری مدل‌سازی کند. این امر به ویژه در قطعه‌بندی تصاویر پزشکی حجمی که ساختارهای پیچیده و متنوعی دارند، اهمیت دارد.

یافته‌های کلیدی این مقاله عبارتند از:

• nnFormer به طور قابل توجهی عملکرد بهتری نسبت به روش‌های مبتنی بر ترنسفورمر قبلی در قطعه‌بندی تصاویر پزشکی حجمی دارد.
• nnFormer نتایج HD95 بهتری نسبت به nnUNet تولید می‌کند که نشان‌دهنده دقت بالاتر در لبه‌های ساختارهای قطعه‌بندی شده است.
• nnFormer و nnUNet مکمل یکدیگر هستند و می‌توانند برای بهبود عملکرد کلی در کنار یکدیگر استفاده شوند.
• معماری nnFormer به دلیل استفاده از خود-توجهی محلی و سراسری و توجه پرشی، قادر است وابستگی‌های پیچیده بین پیکسل‌ها را به طور موثر مدل‌سازی کند.

به عنوان مثال، در یکی از آزمایش‌ها، nnFormer توانست با حاشیه قابل توجهی نسبت به سایر روش‌ها، تومورهای مغزی را در تصاویر MRI قطعه‌بندی کند. این امر نشان می‌دهد که nnFormer می‌تواند در تشخیص و درمان بیماری‌ها کاربرد داشته باشد.

کاربردهای nnFormer بسیار گسترده است و می‌تواند در زمینه‌های مختلف تصویربرداری پزشکی مورد استفاده قرار گیرد، از جمله:

• قطعه‌بندی تومورها: تشخیص و تعیین حجم تومورها در تصاویر MRI، CT و PET.
• قطعه‌بندی اندام‌ها: جداسازی و اندازه‌گیری اندام‌های مختلف در تصاویر پزشکی.
• قطعه‌بندی ساختارهای آناتومیک: شناسایی و جداسازی ساختارهای آناتومیک پیچیده مانند عروق خونی و اعصاب.
• تحلیل تصاویر بافت‌شناسی: قطعه‌بندی سلول‌ها و بافت‌ها در تصاویر میکروسکوپی.

دستاورد اصلی این مقاله، ارائه یک معماری نوین و کارآمد برای قطعه‌بندی تصاویر پزشکی حجمی است که می‌تواند به بهبود دقت و کارایی روش‌های تشخیص و درمان بیماری‌ها کمک کند. این معماری می‌تواند به عنوان یک پایه برای تحقیقات بیشتر در زمینه استفاده از ترنسفورمرها در تصویربرداری پزشکی مورد استفاده قرار گیرد.

مقاله nnFormer یک گام مهم در جهت استفاده از ترنسفورمرها در تصویربرداری پزشکی است. معماری ارائه شده در این مقاله، با بهره‌گیری از ترکیب کانولوشن و خود-توجهی، مکانیسم خود-توجهی محلی و سراسری، و توجه پرشی، توانسته است عملکرد بهتری نسبت به روش‌های موجود در قطعه‌بندی تصاویر پزشکی حجمی ارائه دهد. نتایج تجربی نشان می‌دهد که nnFormer پتانسیل بالایی برای بهبود دقت و کارایی روش‌های تشخیص و درمان بیماری‌ها دارد و می‌تواند به عنوان یک ابزار قدرتمند در اختیار پزشکان و محققان قرار گیرد. تحقیقات آتی می‌تواند بر بهبود بیشتر معماری nnFormer، گسترش کاربردهای آن به زمینه‌های دیگر تصویربرداری پزشکی، و بررسی امکان ترکیب آن با سایر روش‌های یادگیری عمیق متمرکز شود.