مقاله حاضر به بررسی و ارزیابی تأثیر مکانیزم‌های توجه (Attention) و خودتوجهی (Self-Attention) بر عملکرد شبکه‌های عصبی در طبقه‌بندی تصاویر ضایعات پوستی می‌پردازد. تشخیص دقیق و زودهنگام ضایعات پوستی، به ویژه انواع سرطانی آن، از اهمیت بالایی برخوردار است. استفاده از تکنیک‌های یادگیری عمیق (Deep Learning) در این زمینه، امکان ارائه ابزارهای دقیق‌تر و کارآمدتر را فراهم کرده است.

این مقاله تلاش می‌کند تا نشان دهد چگونه استفاده از مکانیزم‌های توجه و خودتوجهی می‌تواند به بهبود عملکرد مدل‌های یادگیری عمیق در این وظیفه مهم کمک کند. تمرکز اصلی بر روی مقایسه این دو نوع مکانیزم و بررسی میزان تأثیر هر یک در بهبود دقت طبقه‌بندی است.

این مقاله توسط رافائل پدرو (Rafael Pedro) و آرلیندو ال. اولیویرا (Arlindo L. Oliveira) به رشته تحریر درآمده است. زمینه تخصصی این محققان، بینایی کامپیوتر (Computer Vision)، بازشناسی الگو (Pattern Recognition)، هوش مصنوعی (Artificial Intelligence) و یادگیری ماشین (Machine Learning) است. با توجه به این تخصص‌ها، آن‌ها به بررسی چگونگی استفاده از جدیدترین پیشرفت‌ها در یادگیری ماشین برای حل مسائل پیچیده در حوزه بینایی کامپیوتر، به ویژه در زمینه تشخیص بیماری‌های پوستی، پرداخته‌اند.

چکیده مقاله به این صورت است که مکانیزم‌های توجه در جامعه تحقیقاتی علاقه زیادی را برانگیخته‌اند، زیرا نویدبخش بهبودهای قابل توجهی در عملکرد معماری‌های شبکه‌های عصبی هستند. با این حال، در هر مسئله خاص، ما هنوز فاقد یک روش اصولی برای انتخاب مکانیزم‌ها و ابرپارامترهای خاصی هستیم که منجر به بهبودهای تضمین‌شده شوند. اخیراً، خودتوجهی پیشنهاد شده و به طور گسترده در معماری‌های شبیه ترانسفورمر استفاده شده است، که منجر به پیشرفت‌های چشمگیری در برخی از کاربردها شده است. در این مقاله، ما بر دو شکل از مکانیزم‌های توجه تمرکز می‌کنیم: ماژول‌های توجه و خودتوجهی. ماژول‌های توجه برای وزن‌دهی مجدد ویژگی‌های تانسور ورودی هر لایه استفاده می‌شوند. ماژول‌های مختلف، روش‌های مختلفی برای انجام این وزن‌دهی مجدد در لایه‌های کاملاً متصل یا کانولوشن دارند. مدل‌های توجه مورد مطالعه کاملاً مدولار هستند و در این مقاله با معماری محبوب ResNet استفاده خواهند شد. خودتوجهی، که در اصل در حوزه پردازش زبان طبیعی پیشنهاد شده است، امکان ارتباط همه آیتم‌ها در یک دنباله ورودی را فراهم می‌کند. خودتوجهی به طور فزاینده‌ای در بینایی کامپیوتر محبوبیت پیدا می‌کند، جایی که گاهی با لایه‌های کانولوشن ترکیب می‌شود، اگرچه برخی از معماری‌های اخیر به طور کامل از کانولوشن صرف‌نظر می‌کنند. در این مقاله، ما مطالعه و مقایسه عینی تعدادی از مکانیزم‌های توجه مختلف را در یک کار خاص در بینایی کامپیوتر، یعنی طبقه‌بندی نمونه‌ها در مجموعه داده پرکاربرد Skin Cancer MNIST، انجام می‌دهیم. نتایج نشان می‌دهد که ماژول‌های توجه گاهی عملکرد معماری‌های شبکه‌های عصبی کانولوشن را بهبود می‌بخشند، اما همچنین این بهبود، اگرچه قابل توجه و از نظر آماری معنادار است، در تنظیمات مختلف سازگار نیست. نتایج به دست آمده با مکانیزم‌های خودتوجهی، از سوی دیگر، بهبودهای مداوم و قابل توجهی را نشان می‌دهد، که منجر به بهترین نتایج حتی در معماری‌هایی با تعداد پارامترهای کاهش‌یافته می‌شود.

محققان در این مقاله از یک رویکرد تجربی برای ارزیابی عملکرد مکانیزم‌های توجه و خودتوجهی استفاده کرده‌اند. روش‌شناسی آن‌ها شامل مراحل زیر است:

1. انتخاب مجموعه داده: از مجموعه داده Skin Cancer MNIST، که شامل تصاویر ضایعات پوستی است، برای آموزش و ارزیابی مدل‌ها استفاده شده است. این مجموعه داده به طور گسترده در تحقیقات مربوط به تشخیص سرطان پوست استفاده می‌شود و یک معیار استاندارد برای مقایسه الگوریتم‌های مختلف است.
2. انتخاب معماری پایه: معماری ResNet به عنوان معماری پایه انتخاب شده است. ResNet به دلیل عملکرد خوب و قابلیت تعمیم بالا، یکی از محبوب‌ترین معماری‌های شبکه‌های عصبی عمیق است.
3. پیاده‌سازی مکانیزم‌های توجه: انواع مختلفی از مکانیزم‌های توجه و خودتوجهی در معماری ResNet پیاده‌سازی شده‌اند. این مکانیزم‌ها به صورت ماژولار طراحی شده‌اند تا به راحتی قابل ادغام با معماری‌های مختلف باشند.
4. آموزش و ارزیابی مدل‌ها: مدل‌ها با استفاده از مجموعه داده Skin Cancer MNIST آموزش داده شده‌اند و عملکرد آن‌ها با استفاده از معیارهای مختلف ارزیابی، از جمله دقت (Accuracy)، حساسیت (Sensitivity) و ویژگی (Specificity)، سنجیده شده است.
5. مقایسه نتایج: نتایج حاصل از مدل‌های مختلف با یکدیگر مقایسه شده‌اند تا مشخص شود کدام مکانیزم توجه یا خودتوجهی بهترین عملکرد را در طبقه‌بندی ضایعات پوستی دارد.

برای مثال، آن‌ها ممکن است یک ماژول توجه را به هر بلوک ResNet اضافه کنند و سپس تأثیر آن را بر دقت طبقه‌بندی بررسی کنند. همچنین، آن‌ها ممکن است از یک لایه خودتوجهی در انتهای شبکه استفاده کنند تا روابط بین ویژگی‌های مختلف را در تصویر ضایعه پوستی بهتر درک کنند.

یافته‌های اصلی این تحقیق به شرح زیر است:

• بهبود عملکرد با ماژول‌های توجه: استفاده از ماژول‌های توجه می‌تواند عملکرد شبکه‌های عصبی کانولوشن را بهبود بخشد، اما این بهبود همیشه پایدار و قابل پیش‌بینی نیست. به عبارت دیگر، در برخی از تنظیمات، ماژول‌های توجه می‌توانند به طور قابل توجهی دقت طبقه‌بندی را افزایش دهند، در حالی که در تنظیمات دیگر، تأثیر آن‌ها محدود است.
• بهبود پایدار با خودتوجهی: مکانیزم‌های خودتوجهی بهبودهای پایدار و قابل توجهی را نشان می‌دهند. این مکانیزم‌ها حتی در معماری‌هایی با تعداد پارامترهای کمتر، به نتایج بهتری دست یافته‌اند. این نشان می‌دهد که خودتوجهی می‌تواند یک روش کارآمد برای بهبود عملکرد مدل‌های یادگیری عمیق در طبقه‌بندی تصاویر ضایعات پوستی باشد.
• اهمیت انتخاب مکانیزم مناسب: انتخاب مکانیزم توجه یا خودتوجهی مناسب برای یک مسئله خاص بسیار مهم است. نتایج این تحقیق نشان می‌دهد که خودتوجهی به طور کلی عملکرد بهتری نسبت به ماژول‌های توجه دارد، اما ممکن است در برخی موارد، ماژول‌های توجه نیز بتوانند نتایج خوبی ارائه دهند.

به طور مثال، نتایج نشان داد که اضافه کردن لایه‌های خودتوجهی به انتهای شبکه ResNet منجر به افزایش چشمگیر دقت در تشخیص ملانوما (Melanoma) نسبت به سایر انواع ضایعات پوستی شده است.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• بهبود دقت تشخیص سرطان پوست: با استفاده از مکانیزم‌های توجه و خودتوجهی، می‌توان دقت تشخیص سرطان پوست را بهبود بخشید و در نتیجه، به تشخیص زودهنگام و درمان موثرتر این بیماری کمک کرد.
• توسعه ابزارهای تشخیصی کارآمدتر: نتایج این تحقیق می‌تواند به توسعه ابزارهای تشخیصی مبتنی بر هوش مصنوعی کمک کند که قادر به تشخیص دقیق و سریع ضایعات پوستی هستند.
• ارائه راهنمایی برای انتخاب معماری مناسب: این تحقیق می‌تواند به محققان و توسعه‌دهندگان در انتخاب معماری مناسب برای مسائل طبقه‌بندی تصاویر پزشکی کمک کند.
• پیشرفت در حوزه یادگیری ماشین: این تحقیق نشان می‌دهد که مکانیزم‌های خودتوجهی می‌توانند یک ابزار قدرتمند برای بهبود عملکرد مدل‌های یادگیری عمیق در بینایی کامپیوتر باشند.

به عنوان یک دستاورد عملی، این تحقیق می‌تواند در توسعه یک اپلیکیشن تلفن همراه برای تشخیص اولیه ضایعات پوستی مورد استفاده قرار گیرد. این اپلیکیشن می‌تواند با استفاده از الگوریتم‌های یادگیری عمیق آموزش‌دیده با مکانیزم‌های توجه و خودتوجهی، تصاویر ضایعات پوستی را تحلیل کرده و احتمال سرطانی بودن آن‌ها را تخمین بزند.

در مجموع، این مقاله به بررسی و مقایسه عملکرد مکانیزم‌های توجه و خودتوجهی در طبقه‌بندی تصاویر ضایعات پوستی پرداخته است. نتایج نشان می‌دهد که مکانیزم‌های خودتوجهی به طور کلی عملکرد بهتری نسبت به ماژول‌های توجه دارند و می‌توانند به بهبود پایدار و قابل توجهی در دقت طبقه‌بندی منجر شوند. این تحقیق می‌تواند به توسعه ابزارهای تشخیصی کارآمدتر و بهبود دقت تشخیص سرطان پوست کمک کند. با این حال، لازم است توجه داشت که انتخاب مکانیزم مناسب برای یک مسئله خاص بسیار مهم است و ممکن است در برخی موارد، ماژول‌های توجه نیز بتوانند نتایج خوبی ارائه دهند. تحقیقات آینده می‌توانند به بررسی ترکیبی از مکانیزم‌های توجه و خودتوجهی و همچنین استفاده از آن‌ها در سایر مسائل بینایی کامپیوتر بپردازند.

به عنوان یک جمع‌بندی، مقاله حاضر تأکید می‌کند که استفاده از مکانیزم‌های خودتوجهی، به ویژه در وظایف پیچیده مانند تشخیص بیماری‌های پوستی، می‌تواند راهگشای بهبود قابل توجهی در عملکرد الگوریتم‌های یادگیری عمیق باشد و در نهایت، به ارائه خدمات بهداشتی بهتر و نجات جان انسان‌ها کمک کند.