حوزه بینایی کامپیوتر در سال‌های اخیر شاهد پیشرفت‌های چشمگیری بوده است، به خصوص با الهام‌گیری از موفقیت‌های مکانیزم توجه (Attention) در پردازش زبان طبیعی. مکانیزم توجه به مدل‌ها اجازه می‌دهد تا بر بخش‌های مهم‌تر ورودی تمرکز کنند و ارتباطات دوربرد را بهتر درک کنند. با این حال، انتقال مستقیم این مکانیزم به داده‌های تصویری با چالش‌های منحصربه‌فردی روبرو است. مقاله “شبکه توجه دیداری” (Visual Attention Network – VAN) با ارائه راه‌حلی نوین، سعی در غلبه بر این چالش‌ها و گشودن افق‌های جدید در کاربردهای بینایی کامپیوتر دارد. اهمیت این پژوهش در توانایی آن برای ارتقاء عملکرد مدل‌ها در وظایف متنوعی از طبقه‌بندی تصویر گرفته تا تشخیص اشیاء و بخش‌بندی تصاویر، با حفظ سادگی و کارایی بالا نهفته است.

این مقاله علمی توسط تیمی از پژوهشگران برجسته، شامل Meng-Hao Guo، Cheng-Ze Lu، Zheng-Ning Liu، Ming-Ming Cheng و Shi-Min Hu ارائه شده است. زمینه اصلی تحقیق آن‌ها در حوزه بینایی کامپیوتر و بازشناسی الگو (Computer Vision and Pattern Recognition) قرار دارد. این گروه تحقیقاتی سابقه درخشانی در توسعه معماری‌های نوین شبکه‌های عصبی، به ویژه در زمینه توجه و کاربردهای آن در وظایف بینایی کامپیوتر، دارند. تمرکز آن‌ها بر توسعه مدل‌هایی است که هم از نظر محاسباتی کارآمد باشند و هم قادر به درک روابط پیچیده در تصاویر باشند.

مکانیزم توجه خودکار (Self-Attention)، که ابتدا برای وظایف پردازش زبان طبیعی طراحی شده بود، به سرعت در حوزه‌های مختلف بینایی کامپیوتر محبوبیت یافته است. اما طبیعت دوبعدی تصاویر، چالش‌هایی را برای بکارگیری آن ایجاد می‌کند:

• نادیده گرفتن ساختار دوبعدی: برخورد با تصاویر به صورت دنباله‌های یک‌بعدی، ساختار فضایی دو بعدی را نادیده می‌گیرد.
• هزینه محاسباتی بالا: پیچیدگی محاسباتی درجه دوم (Quadratic Complexity) مکانیزم توجه، آن را برای تصاویر با وضوح بالا بسیار پرهزینه می‌سازد.
• عدم تطابق کانال: این مکانیزم عمدتاً تطابق فضایی را در نظر می‌گیرد و تطابق کانال (Channel Adaptability) را نادیده می‌گیرد.

در پاسخ به این چالش‌ها، مقاله حاضر یک مکانیزم توجه خطی نوین به نام توجه با هسته بزرگ (Large Kernel Attention – LKA) را معرفی می‌کند. LKA قادر است ارتباطات دوربرد و خود-تطبیقی را در مکانیزم توجه حفظ کند، در حالی که از معایب اصلی آن اجتناب می‌ورزد. بر پایه LKA، شبکه‌ای عصبی به نام شبکه توجه دیداری (Visual Attention Network – VAN) توسعه یافته است.VAN، علی‌رغم سادگی فوق‌العاده‌اش، در وظایف مختلفی مانند طبقه‌بندی تصویر، تشخیص اشیاء، بخش‌بندی معنایی، بخش‌بندی پاناپتیک و تخمین ژست، عملکرد بهتری نسبت به ترانسفورمرهای دیداری (ViTs) و شبکه‌های عصبی کانولوشنال (CNNs) با اندازه مشابه از خود نشان می‌دهد. به عنوان مثال، نسخه VAN-B6 به دقت ۸۷.۸٪ در معیار ImageNet دست یافته و بهترین عملکرد نوین (۵۸.۲ PQ) را برای بخش‌بندی پاناپتیک ثبت کرده است. همچنین، VAN-B2 در بخش‌بندی معنایی روی مجموعه داده ADE20K، ۴٪ mIoU بیشتر از Swin-T (۵۰.۱ در مقابل ۴۶.۱) و در تشخیص اشیاء روی مجموعه داده COCO، ۲.۶٪ AP بیشتر (۴۸.۸ در مقابل ۴۶.۲) کسب کرده است. این مقاله روشی نوین و یک پایه (Baseline) ساده اما قوی برای جامعه تحقیقاتی ارائه می‌دهد.

اساس کار شبکه توجه دیداری (VAN) بر مکانیزم توجه با هسته بزرگ (LKA) استوار است. این مکانیزم به گونه‌ای طراحی شده که بتواند وابستگی‌های دوربرد را در تصاویر به طور مؤثر و کارآمد مدل کند، در حالی که مشکلات مکانیزم توجه خودکار استاندارد را برطرف می‌سازد.

چالش‌های موجود و راهکارهای LKA:

• ساختار دوبعدی: برخلاف مکانیزم توجه که دنباله‌های ۱بعدی را پردازش می‌کند، LKA با در نظر گرفتن ویژگی‌های فضایی دو بعدی تصویر، روابط بین پیکسل‌های دور از هم را به طور مستقیم‌تری مدل می‌کند. این امر از طریق استفاده از هسته‌های کانولوشن بزرگ در بخش‌های اولیه LKA حاصل می‌شود که امکان همگرایی اطلاعات فضایی را فراهم می‌کند.
• هزینه محاسباتی: مکانیزم توجه استاندارد دارای پیچیدگی محاسباتی O(N^2) است که N تعداد توکن‌ها (پیکسل‌ها) است. LKA با معرفی یک رویکرد خطی، این پیچیدگی را به O(N) کاهش می‌دهد. این مهم با تفکیک عملیات کانولوشن و توجه به دست می‌آید، جایی که کانولوشن‌های بزرگ، تعاملات سراسری را تسهیل کرده و سپس مکانیزم توجه، جزئیات را پالایش می‌کند.
• تطابق کانال: LKA به طور همزمان بر تطابق فضایی و تطابق کانالی تمرکز دارد. این بدان معناست که شبکه نه تنها یاد می‌گیرد کدام بخش‌های تصویر به هم مرتبط هستند، بلکه چگونه ویژگی‌های مختلف (کانال‌ها) در این ارتباطات نقش ایفا می‌کنند. این امر با استفاده از لایه‌های توجه هوشمند که پارامترهایشان بر اساس محتوای تصویر تنظیم می‌شود، محقق می‌گردد.

معماری شبکه VAN:

شبکه VAN از یک معماری ساده اما قدرتمند بهره می‌برد که شامل بلوک‌های LKA است. این بلوک‌ها به صورت سلسله مراتبی در شبکه قرار گرفته‌اند و اطلاعات را در مقیاس‌های مختلف استخراج و پردازش می‌کنند. ساختار کلی VAN شباهت‌هایی به معماری‌های مدرن ترانسفورمرهای دیداری و CNNها دارد، اما با جایگزینی بلوک‌های سنتی با بلوک‌های LKA، بهبود قابل توجهی در عملکرد به دست می‌آورد.

مثال عملی:

تصور کنید در حال تشخیص یک گربه در یک تصویر هستید. مکانیزم توجه استاندارد ممکن است برای هر پیکسل، نیاز داشته باشد تا ارتباط آن را با تمام پیکسل‌های دیگر محاسبه کند (که بسیار پرهزینه است). LKA ابتدا با استفاده از یک هسته بزرگ، مناطق وسیع‌تری از تصویر را بررسی می‌کند و اطلاعات کلی مانند “اینجا احتمالاً بدن گربه است” را استخراج می‌کند. سپس، مکانیزم توجه در LKA با دقت بیشتری بر روی جزئیات تمرکز کرده و ارتباط بین چشم، گوش و دم گربه را با هزینه‌ای بسیار کمتر مدل می‌کند.

یافته‌های اصلی این پژوهش به شرح زیر است:

• معرفی LKA: مکانیزم توجه با هسته بزرگ (LKA) یک راه حل مؤثر و کارآمد برای غلبه بر چالش‌های بکارگیری توجه در بینایی کامپیوتر است. LKA ضمن حفظ توانایی درک روابط دوربرد، هزینه محاسباتی را به صورت خطی نگه می‌دارد و از تطابق فضایی و کانالی به طور همزمان بهره می‌برد.
• عملکرد برتر VAN: شبکه VAN که بر پایه LKA بنا شده است، در طیف گسترده‌ای از وظایف بینایی کامپیوتر، عملکردی بهتر از مدل‌های مشابه (مانند ViTs و CNNs) از خود نشان داده است. این برتری در کارهایی همچون طبقه‌بندی تصویر، تشخیص اشیاء، بخش‌بندی معنایی و پاناپتیک مشهود است.
• دستاورد در معیارهای استاندارد:
  • ImageNet Classification: نسخه VAN-B6 به دقت ۸۷.۸٪ دست یافته است.
  • Panoptic Segmentation: VAN بهترین عملکرد نوین با امتیاز ۵۸.۲ PQ را ثبت کرده است.
  • Semantic Segmentation (ADE20K): VAN-B2 با کسب ۵۰.۱٪ mIoU، ۴٪ بهتر از Swin-T عمل کرده است.
  • Object Detection (COCO): VAN-B2 با کسب ۴۸.۸٪ AP، ۲.۶٪ بهتر از Swin-T عمل کرده است.
• سادگی و استحکام: یکی از نکات قابل توجه، سادگی معماری VAN است. این شبکه پیچیدگی‌های غیرضروری را حذف کرده و بر روی مکانیزم اصلی LKA تمرکز می‌کند، که منجر به مدلی قوی و در عین حال قابل فهم می‌شود.

دستاوردها و کاربردهای شبکه توجه دیداری (VAN) و مکانیزم LKA گسترده و تأثیرگذار هستند:

• ارتقاء دقت در وظایف کلیدی: همانطور که در یافته‌های کلیدی ذکر شد، VAN در معیارهای مختلف، رکوردهای جدیدی را به ثبت رسانده است. این پیشرفت‌ها نشان‌دهنده توانایی بالای VAN در درک جزئیات و روابط معنایی در تصاویر است.
• کارایی محاسباتی: با توجه به پیچیدگی خطی LKA، شبکه VAN برای پردازش تصاویر با وضوح بالا، بسیار مناسب‌تر و کارآمدتر از مدل‌های مبتنی بر توجه استاندارد است. این امر امکان استفاده از مدل‌های قدرتمندتر را در محیط‌هایی با منابع محاسباتی محدود فراهم می‌آورد.
• کاربرد در حوزه‌های مختلف:
  • خودروهای خودران: تشخیص دقیق عابرین پیاده، علائم راهنمایی و رانندگی و سایر خودروها برای ایمنی.
  • تصویربرداری پزشکی: شناسایی ناهنجاری‌ها و تومورها در تصاویر MRI، CT اسکن و X-ray با دقت بالا.
  • نظارت امنیتی: تشخیص رویدادهای مشکوک و پیگیری اهداف در تصاویر دوربین‌های مداربسته.
  • تحلیل تصاویر ماهواره‌ای: شناسایی تغییرات محیطی، پیش‌بینی بلایای طبیعی و مدیریت منابع.
  • رباتیک: درک محیط اطراف و انجام وظایف تعاملی.
• بنیان‌گذاری تحقیقات آینده: VAN به عنوان یک مدل پایه (Baseline) قوی، می‌تواند نقطه شروعی برای پژوهش‌های آتی در زمینه معماری‌های مبتنی بر توجه و کاربردهای آن باشد. سادگی و اثربخشی آن، الهام‌بخش توسعه مدل‌های مشابه خواهد بود.

مثال کاربردی: تصور کنید در یک سیستم تشخیص پزشکی، یک مدل باید ضایعه‌ای کوچک و در حال رشد را در تصاویر پوستی تشخیص دهد. مکانیزم LKA در VAN می‌تواند با دقت بالا، الگوهای فضایی و تغییرات ظریف را در نواحی مختلف پوست تشخیص داده و به پزشکان در تشخیص زودهنگام و دقیق بیماری کمک کند، در حالی که پردازش سریع تصویر، زمان انتظار بیمار را کاهش می‌دهد.

مقاله “شبکه توجه دیداری” (VAN) با معرفی مکانیزم نوآورانه Large Kernel Attention (LKA)، گامی مهم در جهت رفع محدودیت‌های مکانیزم توجه در حوزه بینایی کامپیوتر برداشته است. LKA با حفظ توانایی درک روابط دوربرد و تطابق فضایی-کانالی، هزینه‌های محاسباتی را به طرز چشمگیری کاهش داده و آن را به گزینه‌ای ایده‌آل برای پردازش تصاویر، به ویژه تصاویر با وضوح بالا، تبدیل کرده است.

شبکه VAN، که بر پایه LKA ساخته شده است، توانایی خود را در دستیابی به عملکردی پیشرفته در وظایفی چون طبقه‌بندی تصویر، تشخیص اشیاء و بخش‌بندی، اثبات کرده است. نتایج درخشان این مدل در معیارهای استاندارد، آن را به یک رقیب جدی برای معماری‌های موجود تبدیل کرده و نشان‌دهنده پتانسیل بالای آن در کاربردهای واقعی است.

از این رو، VAN نه تنها یک بهبود فنی محسوب می‌شود، بلکه یک چارچوب جدید و یک پایه (Baseline) قوی برای جامعه تحقیقاتی فراهم می‌کند که می‌تواند مسیر را برای نوآوری‌های آتی در زمینه هوش مصنوعی و بینایی کامپیوتر هموار سازد. این پژوهش، سادگی، کارایی و قدرت را در یک معماری واحد ادغام کرده و چشم‌انداز روشنی را برای آینده مدل‌های بینایی کامپیوتر ترسیم می‌کند.

برای علاقه‌مندان و توسعه‌دهندگان، کد منبع این پروژه در آدرس https://github.com/Visual-Attention-Network در دسترس است تا بتوانند از آن در پروژه‌های خود بهره‌برداری کنند.