مقاله حاضر با عنوان “Demystify Self-Attention in Vision Transformers from a Semantic Perspective: Analysis and Application” که توسط محققانی برجسته در حوزه بینایی ماشین و هوش مصنوعی ارائه شده است، به یکی از چالش‌برانگیزترین و در عین حال مهم‌ترین جنبه‌های مدل‌های ترنسفورمر در پردازش تصاویر، یعنی سازوکار “خود-توجهی” (Self-Attention)، از دیدگاهی نو و معنایی می‌پردازد. این تحقیق نه تنها به درک عمیق‌تر نحوه عملکرد این مکانیسم در حوزه بینایی کمک می‌کند، بلکه کاربردهای عملی و نوآورانه‌ای را نیز برای آن معرفی می‌نماید.

اهمیت این مقاله در آن است که بسیاری از مدل‌های ویژن ترنسفورمر (ViT) فعلی، با الهام‌گیری مستقیم از معماری‌های موفق ترنسفورمر در پردازش زبان طبیعی (NLP)، بدون در نظر گرفتن تفاوت‌های بنیادین بین داده‌های تصویری و زبانی، مورد استفاده قرار گرفته‌اند. درک این تفاوت‌ها برای بهره‌برداری کامل و بهینه از قدرت ترنسفورمرها در بینایی ماشین امری حیاتی است.

این پژوهش توسط تیمی از محققان برجسته، شامل Leijie Wu, Song Guo, Yaohong Ding, Junxiao Wang, Wenchao Xu, Richard Yida Xu, و Jie Zhang، ارائه شده است. این گروه تحقیقاتی در مراکز علمی پیشرو فعالیت داشته و سابقه‌ای درخشان در زمینه بینایی ماشین (Computer Vision)، پردازش الگو (Pattern Recognition)، هوش مصنوعی (Artificial Intelligence) و یادگیری ماشین (Machine Learning) دارند. تمرکز این مقاله بر تلاقی حوزه بینایی ماشین و معماری‌های پیشرفته یادگیری عمیق، به ویژه ترنسفورمرها، نشان‌دهنده عمق دانش و تجربه نویسندگان در این زمینه است.

سازوکار خود-توجهی، به ویژه نوع چند-سری آن (Multi-Head Self-Attention – MSA)، موفقیت‌های چشمگیری را در حوزه‌های مختلف مانند بینایی ماشین و پردازش زبان طبیعی رقم زده است. با این حال، بسیاری از کارهای موجود در زمینه ویژن ترنسفورمر (ViT) صرفاً طراحی‌های ترنسفورمر را از NLP اقتباس کرده و برای وظایف بینایی تطبیق داده‌اند، در حالی که تفاوت بنیادین میان نحوه عملکرد MSA در تصاویر و زبان را نادیده گرفته‌اند.

زبان به طور طبیعی دارای ساختارهای معنایی غنی است که به راحتی توسط انسان قابل تفسیر هستند. واحد پایه‌ای زبان (کلمه) گسسته و بدون اطلاعات زائد است که مطالعه تفسیری مکانیزم‌های MSA را در ترنسفورمرهای زبانی تسهیل می‌کند. در مقابل، داده‌های بصری ساختاری متفاوت دارند: واحد پایه‌ای آن‌ها (پیکسل) یک نمایش سطح پایین با افزونگی قابل توجه در همسایگی است که چالش‌های آشکاری را برای تفسیرپذیری مکانیزم MSA در ViT ایجاد می‌کند.

این مقاله با معرفی یک تکنیک پردازش تصویر رایج، یعنی تبدیل ویژگی‌های ناوردا در مقیاس (Scale-Invariant Feature Transforms – SIFT)، که نمایش‌های سطح پایین را به فضاهای سطح میانی نگاشت می‌کند و نقاط کلیدی گسسته با اطلاعات معنایی غنی را علامت‌گذاری می‌نماید، این چالش را برطرف می‌کند. سپس، با ساخت یک تحلیل وزن‌دار برهم‌کنش پچ‌ها (patch interrelation analysis) مبتنی بر نقاط کلیدی SIFT، الگوهای توجه پنهان در پچ‌هایی با غلظت معنایی متفاوت را ثبت می‌کند. جالب اینجاست که این تحلیل کمی نه تنها مکمل مؤثری برای تفسیرپذیری مکانیزم‌های MSA در ViT است، بلکه می‌تواند برای موارد زیر نیز به کار رود:

• کشف همبستگی‌های spurious (یا کاذب) و “prompting” در زمان استنتاج مدل.
• تسریع پیش‌آموزش هدایت‌شده مدل.

نتایج تجربی در هر دو کاربرد، مزایای قابل توجهی نسبت به روش‌های پایه نشان داده و کارایی این روش را اثبات می‌کند.

قلب روش‌شناسی این تحقیق، بهره‌گیری از تکنیک تبدیل ویژگی‌های ناوردا در مقیاس (SIFT) برای غنی‌سازی نمایش داده‌های تصویری و ایجاد بستری مناسب برای تحلیل معنایی خود-توجهی است. برخلاف نمایش سنتی پیکسل‌ها که ماهیتی سطحی و با افزونگی زیاد دارد، SIFT قادر است ویژگی‌های کلیدی را از تصاویر استخراج کرده و آن‌ها را به فضایی معنایی‌تر نگاشت کند.

مراحل کلیدی روش‌شناسی به شرح زیر است:

• استخراج ویژگی‌های SIFT: ابتدا، نقاط کلیدی (keypoints) در تصاویر با استفاده از الگوریتم SIFT استخراج می‌شوند. این نقاط، نواحی با ویژگی‌های متمایز هستند که اطلاعات معنایی بیشتری نسبت به پیکسل‌های صرف دارند.
• نگاشت به فضای معنایی: ویژگی‌های استخراج شده SIFT، نمایش‌های سطح پایین پیکسل‌ها را به فضاهای سطح میانی (mid-level representations) که غنی از اطلاعات معنایی هستند، تبدیل می‌کنند.
• تحلیل برهم‌کنش پچ‌های وزن‌دار: با استفاده از این نقاط کلیدی معنایی، مقاله‌نویسان یک سازوکار جدید برای تحلیل روابط بین پچ‌های مختلف (patches) در تصویر ایجاد می‌کنند. این تحلیل، وزن‌دهی بر اساس “غلظت معنایی” (semantic concentration) در هر پچ انجام می‌شود، به این معنی که پچ‌هایی که حاوی نقاط کلیدی SIFT بیشتری هستند و در نتیجه اطلاعات معنایی غنی‌تری دارند، وزن بیشتری در تحلیل روابط دریافت می‌کنند.
• ثبت الگوهای توجه: این تحلیل وزن‌دار، الگوهای توجه (attention patterns) را که در مکانیزم MSA پنهان شده‌اند، از دیدگاهی معنایی آشکار می‌سازد. به عبارت دیگر، مشخص می‌شود که چگونه مدل به نواحی مختلف تصویر با توجه به محتوای معنایی آن‌ها، وزن می‌دهد.

این رویکرد، تفاوت اساسی با تحلیل‌های صرفاً مبتنی بر وزن‌های یادگرفته شده توسط مدل دارد، زیرا با استناد به اطلاعات معنایی استخراج شده خارجی (SIFT)، یک معیار مستقل برای ارزیابی رفتار توجه مدل فراهم می‌کند.

یافته‌های این تحقیق، ابعاد جدیدی را به درک ما از سازوکار خود-توجهی در ویژن ترنسفورمرها اضافه می‌کند:

• تفسیرپذیری معنایی MSA: یکی از مهم‌ترین یافته‌ها این است که تحلیل مبتنی بر SIFT، به طور مؤثری به تفسیرپذیری مکانیزم MSA در ViT کمک می‌کند. مشخص می‌شود که چگونه توجه مدل با ویژگی‌های معنایی تصویر همبستگی دارد. به عنوان مثال، ممکن است مدل در هنگام تشخیص یک چهره، بیشتر به نواحی چشم‌ها، بینی و دهان که حاوی ویژگی‌های کلیدی SIFT فراوان هستند، توجه کند.
• شناسایی همبستگی‌های spurious: روش پیشنهادی قادر است همبستگی‌های spurious یا کاذب را که ممکن است مدل در طول آموزش یاد بگیرد، شناسایی کند. این همبستگی‌ها زمانی اتفاق می‌افتند که مدل بر اساس ویژگی‌های نامرتبط با وظیفه اصلی، یادگیری انجام می‌دهد. تحلیل معنایی MSA می‌تواند نشان دهد که آیا توجه مدل به نواحی نامربوطی معطوف شده است که صرفاً به دلیل همزمانی در داده‌های آموزشی رخ داده است.
• “Prompting” در زمان استنتاج: این تحقیق نشان می‌دهد که با درک الگوهای توجه معنایی، می‌توان در زمان استنتاج (inference) مدل را “prompt” کرد. این به معنای هدایت توجه مدل به سمت نواحی خاصی از تصویر یا تقویت یا تضعیف توجه به بخش‌های دیگر است تا عملکرد مدل بهبود یابد یا خطاهای خاصی تصحیح شود.
• تسریع پیش‌آموزش مدل: کاربرد دیگر این روش، تسریع فرآیند پیش‌آموزش (pre-training) مدل است. با هدایت توجه مدل به سمت ویژگی‌های معنایی مهم‌تر از ابتدا، می‌توان نیاز به داده‌های آموزشی عظیم و زمان طولانی پیش‌آموزش را کاهش داد.

به طور کلی، یافته‌ها نشان می‌دهند که توجه به جنبه‌های معنایی در تحلیل خود-توجهی، فقط یک تمرین آکادمیک نیست، بلکه ابزاری قدرتمند برای بهبود، درک و استفاده بهینه‌تر از مدل‌های ویژن ترنسفورمر است.

مقاله حاضر نه تنها یک روش تحلیلی نوآورانه را معرفی می‌کند، بلکه کاربردهای عملی و اثبات‌شده‌ای را برای آن ارائه می‌دهد که نشان‌دهنده ارزش افزوده واقعی این تحقیق است:

• کاربرد ۱: کشف همبستگی spurious و Prompting در زمان استنتاج:

دستاورد: نتایج تجربی نشان دادند که این روش قادر است همبستگی‌های spurious را که ممکن است منجر به عملکرد ضعیف مدل در داده‌های جدید شود، شناسایی کند. برای مثال، در تشخیص بیماری از روی تصاویر پزشکی، اگر مدل صرفاً به متن کنار تصویر (که بخشی از داده‌های آموزشی بوده) توجه کند و نه خود تصویر، این همبستگی spurious با روش SIFT-MSA قابل کشف خواهد بود. همچنین، با هدایت توجه مدل به سمت نواحی خاص (مثلاً ناحیه مشکوک در تصویر)، می‌توان دقت تشخیص را افزایش داد.

• کاربرد ۲: هدایت مدل برای تسریع پیش‌آموزش:

دستاورد: با استفاده از این رویکرد، محققان توانستند فرآیند پیش‌آموزش ویژن ترنسفورمرها را به طور قابل توجهی تسریع کنند. در عمل، این به معنای صرفه‌جویی در منابع محاسباتی و زمان است. برای مثال، به جای اینکه مدل زمان زیادی را صرف یادگیری تشخیص ویژگی‌های اولیه مانند لبه‌ها و بافت‌ها کند، می‌تواند از ابتدا بر روی ویژگی‌های معنایی سطح بالاتر تمرکز کند که توسط SIFT استخراج و شناسایی شده‌اند.

این کاربردها، نشان‌دهنده گامی مهم در جهت ساخت مدل‌های هوش مصنوعی قابل اعتمادتر، کارآمدتر و شفاف‌تر هستند. مزایای قابل توجه این روش نسبت به روش‌های پایه در آزمایش‌ها، مهر تاییدی بر اثربخشی و نوآوری این تحقیق است.

مقاله “Demystify Self-Attention in Vision Transformers from a Semantic Perspective: Analysis and Application” یک تحقیق پیشگامانه در حوزه درک ویژن ترنسفورمرها است. نویسندگان با موفقیت، شکاف موجود در درک ما از سازوکار خود-توجهی در تصاویر را با معرفی روشی نوین برای تحلیل معنایی این مکانیزم پر کرده‌اند.

تکیه بر تکنیک SIFT برای غنی‌سازی نمایش‌های بصری و تحلیل برهم‌کنش پچ‌ها بر اساس غلظت معنایی، امکان مشاهده الگوهای توجه مدل را در سطحی فراتر از صرف محاسبات ماتریسی فراهم می‌آورد. یافته‌های کلیدی این تحقیق، شامل توانایی در تفسیرپذیری، کشف خطاهای پنهان (همبستگی‌های spurious) و کاربردهای عملی در “prompting” و تسریع پیش‌آموزش، نشان‌دهنده پتانسیل بالای این رویکرد است.

در نهایت، این مقاله راه را برای توسعه مدل‌های ویژن ترنسفورمر قوی‌تر، قابل اعتمادتر و با قابلیت تفسیر بیشتر هموار می‌کند و نشان می‌دهد که ادغام تحلیل معنایی با مکانیسم‌های یادگیری عمیق، کلید پیشرفت‌های آتی در هوش مصنوعی خواهد بود.