معرفی مقاله و اهمیت آن

در سال‌های اخیر، مدل‌های ترانسفورمر بینایی (Vision Transformers – VTs) انقلابی در حوزه بینایی ماشین پدید آورده‌اند. این مدل‌ها، که ابتدا در پردازش زبان طبیعی موفقیت‌های چشمگیری کسب کردند، با توانایی بی‌نظیر خود در مدل‌سازی وابستگی‌های دوربرد (long-range dependencies)، عملکردی فراتر از شبکه‌های عصبی پیچشی (CNNs) را در بسیاری از وظایف بینایی ارائه داده‌اند. با این حال، یکی از چالش‌های اصلی VTs نیاز مبرم آن‌ها به حجم عظیمی از داده‌های آموزشی برچسب‌دار است. این وابستگی به داده، پیاده‌سازی و کاربرد VTs را در سناریوهایی با داده‌های محدود دشوار می‌سازد.

تحقیقات پیشین برای کاهش این وابستگی به داده، بر معرفی سوگیری القایی محلی (local inductive bias) در معماری VTs تمرکز کرده‌اند. این سوگیری محلی، که به مدل کمک می‌کند تا ساختارها و الگوهای فضایی نزدیک را در تصاویر بهتر درک کند، معمولاً از طریق تغییرات معماری مانند اضافه کردن لایه‌های پیچشی یا طراحی ساختارهای سلسله‌مراتبی به دست می‌آید. هرچند این روش‌ها مؤثر بوده‌اند، اما به طور جزئی با ایده اصلی ترانسفورمرها که توسعه معماری‌های یکپارچه و عمومی برای حوزه‌های مختلف (نظیر بینایی و زبان طبیعی) است، در تضاد قرار می‌گیرند. تغییرات معماری ممکن است به از دست رفتن “عمومیت” و “سادگی” پایه ترانسفورمر منجر شود.

مقاله حاضر با عنوان “انتروپی فضایی به عنوان یک سوگیری القایی برای ترانسفورمرهای بینایی”، رویکردی متفاوت و مکمل را برای حل این چالش پیشنهاد می‌کند. نویسندگان به جای تغییر در معماری اصلی ترانسفورمر، یک سوگیری محلی را از طریق یک تسک خود-نظارتی کمکی (auxiliary self-supervised task) معرفی می‌کنند که به طور مشترک با آموزش نظارت‌شده استاندارد انجام می‌شود. این رویکرد نوآورانه نه تنها به کاهش نیاز به نمونه‌های آموزشی کمک می‌کند، بلکه یکپارچگی و عمومیت ساختار ترانسفورمر را نیز حفظ می‌کند. اهمیت این پژوهش در ارائه راه حلی ظریف و قدرتمند برای افزایش کارایی VTs، به ویژه در شرایط کمبود داده، و همچنین پیشبرد هدف توسعه معماری‌های هوش مصنوعی با قابلیت انتقال‌پذیری بالا، نهفته است.

نویسندگان و زمینه تحقیق

این پژوهش توسط تیمی از محققان برجسته شامل Elia Peruzzo, Enver Sangineto, Yahui Liu, Marco De Nadai, Wei Bi, Bruno Lepri و Nicu Sebe انجام شده است. این نویسندگان از پیشینه‌های قوی در حوزه‌های بینایی ماشین و تشخیص الگو (Computer Vision and Pattern Recognition) و یادگیری ماشین (Machine Learning) بهره می‌برند، که منعکس‌کننده ماهیت میان‌رشته‌ای و عمیق این کار است.

زمینه تحقیق این مقاله در تقاطع پیشرفت‌های اخیر در مدل‌های ترانسفورمر و نیازهای کاربردی در بینایی ماشین قرار دارد. ترانسفورمرها به دلیل مکانیزم توجه (attention mechanism) خود، قادر به پردازش اطلاعات در مقیاس وسیع و شناسایی روابط پیچیده بین بخش‌های مختلف داده هستند. این ویژگی، آن‌ها را برای وظایفی مانند ترجمه ماشینی و تولید متن ایده‌آل ساخته است. اما وقتی این مدل‌ها به حوزه بینایی ماشین وارد شدند، مشخص شد که ماهیت تصاویر (وجود ساختارهای فضایی محلی، سلسله‌مراتب اشیاء، و همجواری پیکسل‌ها) نیازمند نوعی سوگیری القایی است که به طور پیش‌فرض در معماری ترانسفورمرهای خالص وجود ندارد. شبکه‌های عصبی پیچشی (CNNs) به طور طبیعی این سوگیری محلی را از طریق فیلترهای کوچک و وزن‌های مشترک خود ارائه می‌دهند.

تلاش‌های اولیه برای سازگار کردن ترانسفورمرها با تصاویر، با معرفی معماری‌هایی نظیر Vision Transformer (ViT) همراه بود. اما برای رقابت با CNNs در مجموعه داده‌های کوچک، نیاز به وارد کردن نوعی از “درک محلی” به این مدل‌ها احساس شد. روش‌های قبلی این کار را با تغییر هسته معماری ترانسفورمر انجام دادند، برای مثال با گنجاندن لایه‌های پیچشی در مراحل اولیه پردازش یا با طراحی مکانیزم‌های توجه محلی‌تر. این مقاله، با ارائه یک جایگزین، به این سوال اساسی پاسخ می‌دهد که آیا می‌توان بدون دستکاری معماری اصلی، این سوگیری محلی مورد نیاز را به VTs اضافه کرد، و بدین ترتیب، آن‌ها را به سمت مدل‌های واقعاً یکپارچه و عمومی برای چندین دامنه سوق داد.

چکیده و خلاصه محتوا

این مقاله به بررسی چالش نیاز VTs به حجم بالای داده‌های آموزشی می‌پردازد. تحقیقات پیشین نشان داده‌اند که تزریق یک سوگیری القایی محلی به معماری VT می‌تواند تعداد نمونه‌های لازم برای آموزش را کاهش دهد. با این حال، این تغییرات معماری به از دست رفتن “عمومیت” مدل ترانسفورمر منجر می‌شود که با هدف توسعه معماری‌های یکپارچه برای حوزه‌هایی مانند بینایی ماشین و پردازش زبان طبیعی در تناقض است.

نویسندگان در این پژوهش، رویکردی متفاوت و مکمل را ارائه می‌دهند: معرفی سوگیری محلی از طریق یک تسک خود-نظارتی کمکی که به طور مشترک با آموزش نظارت‌شده استاندارد انجام می‌شود. ایده اصلی این کار از مشاهده‌ای ناشی می‌شود: نقشه‌های توجه (attention maps) VTs، زمانی که با روش‌های خود-نظارتی آموزش دیده‌اند، می‌توانند ساختاری شبیه به تقسیم‌بندی معنایی (semantic segmentation) را از خود نشان دهند. این ساختار به صورت خودبه‌خودی در آموزش‌های صرفاً نظارت‌شده پدیدار نمی‌شود.

بنابراین، این پژوهش صراحتاً پدیدار شدن این خوشه‌بندی فضایی (spatial clustering) را به عنوان نوعی تنظیم‌کننده آموزشی (training regularization) تشویق می‌کند. به طور دقیق‌تر، نویسندگان بر این فرض تکیه می‌کنند که در یک تصویر معین، اشیاء معمولاً با چندین ناحیه متصل (few connected regions) مطابقت دارند. برای کمیت‌سنجی این سوگیری القایی شیء-محور، یک فرمول‌بندی فضایی از انتروپی اطلاعات (spatial formulation of information entropy) پیشنهاد شده است. با حداقل کردن این انتروپی فضایی، یک سیگنال خود-نظارتی اضافی در طول فرآیند آموزش به مدل اضافه می‌شود.

نتایج حاصل از آزمایش‌های گسترده نشان می‌دهد که این روش تنظیم‌کننده پیشنهادی، منجر به نتایجی معادل یا حتی بهتر از سایر راهکارهای VT می‌شود که سوگیری محلی را از طریق تغییر معماری پایه ترانسفورمر ایجاد می‌کنند. همچنین، این روش می‌تواند دقت نهایی VTs را به طور چشمگیری افزایش دهد، به خصوص هنگام استفاده از مجموعه‌های آموزشی کوچک تا متوسط. کد منبع این پروژه برای استفاده عموم در گیت‌هاب (https://github.com/helia95/SAR) در دسترس قرار گرفته است.

روش‌شناسی تحقیق

روش‌شناسی این تحقیق بر پایه تلفیق هوشمندانه یادگیری خود-نظارتی با مفهوم انتروپی فضایی بنا شده است تا سوگیری القایی محلی مورد نیاز برای VTs را فراهم کند، بدون آنکه نیاز به دستکاری معماری اصلی ترانسفورمر باشد. مراحل و مفاهیم کلیدی این روش‌شناسی به شرح زیر است:

• مشاهده اولیه و انگیزه: نویسندگان مشاهده کردند که VTs آموزش‌دیده با روش‌های خود-نظارتی (مانند DINO یا MoCo) تمایل دارند نقشه‌های توجهی تولید کنند که نشان‌دهنده خوشه‌بندی فضایی و تفکیک اشیاء در تصویر است. این رفتار به طور خودبه‌خودی در آموزش نظارت‌شده خالص دیده نمی‌شود. این مشاهده کلید توسعه روش پیشنهادی بود؛ یعنی اگر مدل بتواند این قابلیت را به صورت خود-نظارتی یاد بگیرد، می‌توان آن را به طور صریح تشویق کرد.

• تسک خود-نظارتی کمکی: ایده اصلی این است که به موازات آموزش با نظارت (مثلاً برای طبقه‌بندی تصویر)، یک تسک ثانویه خود-نظارتی نیز اجرا شود. این تسک کمکی هدفمند است: آموزش مدل برای تولید نقشه‌های توجه منسجم فضایی که با مرزهای اشیاء مطابقت دارند. این کار بدون نیاز به برچسب‌گذاری دستی اشیاء انجام می‌شود.

• فرمول‌بندی انتروپی فضایی: هسته روش‌شناسی، تعریف یک معیار جدید به نام انتروپی فضایی است. این معیار بر پایه این فرض بنا شده که در یک تصویر، اشیاء معمولاً شامل چند ناحیه متصل از پیکسل‌ها هستند. به عبارت دیگر، پیکسل‌های یک شیء تمایل دارند که به هم نزدیک باشند و یک منطقه پیوسته را تشکیل دهند. انتروپی فضایی پیشنهادشده، میزان “پراکندگی” یا “تمرکز” توجه مدل را بر روی این مناطق متصل می‌سنجد.

  • چگونه کار می‌کند؟ برای هر سر توجه (attention head) در ترانسفورمر، یک نقشه توجه تولید می‌شود که نشان می‌دهد هر توکن (پچ تصویری) چقدر به سایر توکن‌ها “توجه” می‌کند. نویسندگان از این نقشه‌ها استفاده کرده و انتروپی را به گونه‌ای محاسبه می‌کنند که اگر توجه یک پچ به مناطق مختلف و غیرمرتبط پراکنده باشد، انتروپی بالا باشد و اگر توجه آن بر روی یک یا چند منطقه متصل و معنی‌دار متمرکز باشد، انتروپی پایین باشد.
  • هدف: با حداقل‌سازی این انتروپی فضایی، مدل تشویق می‌شود تا نقشه‌های توجهی تولید کند که خوشه‌بندی‌های فضایی معنادار را منعکس می‌کنند؛ یعنی پچ‌های مربوط به یک شیء، توجه خود را بر یکدیگر متمرکز کنند و از پچ‌های مربوط به اشیاء دیگر یا پس‌زمینه کمتر تاثیر بپذیرند.

• ادغام در فرآیند آموزش: ترم انتروپی فضایی به عنوان یک جریمه (penalty term) به تابع زیان کلی (total loss function) مدل اضافه می‌شود. تابع زیان نهایی ترکیبی از تابع زیان نظارتی استاندارد (مثلاً Cross-Entropy برای طبقه‌بندی) و ترم انتروپی فضایی است که با یک ضریب وزنی کنترل می‌شود. این ضریب امکان تنظیم میزان تاثیر سوگیری فضایی را فراهم می‌کند.

• مثال عملی: فرض کنید یک ترانسفورمر بینایی در حال پردازش تصویری از یک سگ است. بدون سوگیری فضایی، توجه ممکن است به طور پراکنده روی بخش‌های مختلف تصویر باشد. با اضافه شدن ترم انتروپی فضایی، مدل تشویق می‌شود تا پچ‌های مربوط به سگ را به طور منسجم‌تر و به هم پیوسته مورد توجه قرار دهد، گویی که در حال شناسایی “منطقه سگ” در تصویر است. این به مدل کمک می‌کند تا نمایش‌های داخلی بهتری از اشیاء را یاد بگیرد.

این رویکرد نه تنها کارایی مدل را بهبود می‌بخشد، بلکه این کار را با حفظ سادگی و عمومیت معماری پایه ترانسفورمر انجام می‌دهد، که یکی از نقاط قوت اصلی این پژوهش است.

یافته‌های کلیدی

نتایج آزمایش‌های گسترده‌ای که توسط نویسندگان انجام شده است، چندین یافته کلیدی و مهم را آشکار می‌سازد که قدرت و اثربخشی روش پیشنهادی را تایید می‌کند:

• عملکرد رقابتی یا برتر بدون تغییر معماری: یکی از مهمترین دستاوردها این است که روش تنظیم‌کننده مبتنی بر انتروپی فضایی، به نتایج معادل یا حتی بهتر از سایر پیشنهادهای VT می‌رسد که سوگیری محلی را از طریق تغییر معماری پایه ترانسفورمر وارد می‌کنند. این بدان معناست که می‌توان بدون قربانی کردن عمومیت و سادگی ترانسفورمر، به مزایای سوگیری محلی دست یافت. این یافته، اعتبار این ایده را تقویت می‌کند که سوگیری‌های القایی را می‌توان به طور “نرم” و از طریق اهداف یادگیری به جای تغییرات “سخت” معماری، به مدل تزریق کرد.

• افزایش چشمگیر دقت با مجموعه‌های آموزشی کوچک تا متوسط: این روش، در سناریوهایی که مجموعه‌های داده آموزشی کوچک یا متوسط در دسترس هستند، دقت نهایی VTs را به طور چشمگیری بهبود می‌بخشد. این یک نقطه عطف حیاتی است زیرا یکی از بزرگترین موانع در پذیرش گسترده VTs، نیاز آن‌ها به حجم انبوهی از داده‌های برچسب‌دار بوده است. با این بهبود، VTs می‌توانند در حوزه‌هایی مانند پزشکی، سنجش از دور یا سایر کاربردهای تخصصی که جمع‌آوری داده‌های گسترده دشوار است، با کارایی بیشتری به کار گرفته شوند.

• ظهور ساختار تقسیم‌بندی معنایی در نقشه‌های توجه: آزمایش‌ها به وضوح نشان دادند که با حداقل‌سازی انتروپی فضایی، نقشه‌های توجه VTs واقعاً شروع به نمایش ساختار خوشه‌بندی فضایی شیء-محور می‌کنند. به عبارت دیگر، مدل یاد می‌گیرد که توجه خود را بر روی بخش‌هایی از تصویر متمرکز کند که با اشیاء مجزا و منسجم مطابقت دارند، حتی بدون آنکه به طور صریح برای وظیفه تقسیم‌بندی معنایی آموزش دیده باشد. این یافته، ایده اساسی نویسندگان را که خود-نظارتی می‌تواند ساختارهای معنایی پنهان را آشکار کند، تایید می‌کند.

• اثبات مفهوم برای رویکردهای جایگزین سوگیری القایی: این پژوهش به عنوان یک اثبات مفهوم (proof of concept) عمل می‌کند و نشان می‌دهد که سوگیری‌های القایی مرتبط با دامنه را می‌توان به طور مؤثر از طریق تسک‌های خود-نظارتی و بدون نیاز به تغییر در معماری اصلی مدل‌های عمومی، به آن‌ها تزریق کرد. این امر مسیرهای جدیدی را برای طراحی مدل‌های هوش مصنوعی انعطاف‌پذیرتر و قابل انطباق‌تر باز می‌کند.

در مجموع، یافته‌ها نشان‌دهنده یک گام مهم رو به جلو در بهینه سازی ترانسفورمرهای بینایی و کاهش وابستگی آنها به داده‌های عظیم است، که با حفظ مزایای اصلی معماری ترانسفورمر همراه است.

کاربردها و دستاوردها

دستاوردها و کاربردهای پژوهش حاضر فراتر از صرفاً بهبود عملکرد یک مدل خاص است؛ این کار پیامدهای عمیقی برای توسعه سیستم‌های هوش مصنوعی با قابلیت‌های بیشتر و انعطاف‌پذیری بالاتر دارد:

• یادگیری ماشین با داده‌های محدود (Few-shot Learning) و انتقال یادگیری (Transfer Learning): بهبود چشمگیر دقت VTs در سناریوهای با داده‌های آموزشی کم تا متوسط، این مدل‌ها را برای کاربردهایی که جمع‌آوری داده‌های برچسب‌دار چالش‌برانگیز یا پرهزینه است، بسیار مناسب می‌سازد. از جمله این حوزه‌ها می‌توان به تصویربرداری پزشکی، سنجش از دور، بازرسی صنعتی، و سیستم‌های دفاعی اشاره کرد. در این موارد، مدل می‌تواند با داده‌های کمتری آموزش ببیند و همچنان عملکرد قابل قبولی ارائه دهد، که به نوبه خود منجر به کاهش زمان و هزینه توسعه می‌شود.

• توسعه مدل‌های هوش مصنوعی یکپارچه و عمومی: با حفظ معماری اصلی ترانسفورمر، این پژوهش گامی مهم به سوی تحقق مدل‌های پایه (Foundation Models) واقعی و معماری‌های یکپارچه برمی‌دارد که می‌توانند به طور مؤثر در حوزه‌های مختلف (از بینایی تا زبان) به کار روند. این امر نیاز به طراحی معماری‌های تخصصی برای هر دامنه را کاهش داده و فرآیند توسعه AI را ساده‌تر می‌کند.

• روش جدید برای تزریق سوگیری‌های القایی: این مطالعه یک رویکرد جایگزین و مکمل برای وارد کردن سوگیری‌های القایی خاص دامنه به مدل‌های عمومی ارائه می‌دهد. این ایده که می‌توان از طریق سیگنال‌های خود-نظارتی و بدون تغییر در ساختار اصلی، دانش و مفروضات مرتبط با دامنه را به مدل القا کرد، می‌تواند الهام‌بخش تحقیقات آتی در سایر زمینه‌ها و برای انواع دیگر سوگیری‌ها باشد.

• کاهش هزینه‌های محاسباتی و انرژی: از آنجایی که نیاز به داده‌های آموزشی عظیم کاهش می‌یابد، به طور بالقوه زمان آموزش مدل‌ها نیز کمتر شده و در نتیجه، مصرف منابع محاسباتی و انرژی کاهش می‌یابد. این موضوع در عصر حاضر که پایداری و کارایی انرژی در هوش مصنوعی اهمیت فزاینده‌ای پیدا کرده است، بسیار حائز اهمیت است.

• کمک به جامعه علمی: در دسترس قرار دادن کد منبع (https://github.com/helia95/SAR) یک دستاورد مهم برای جامعه علمی است. این کار امکان بازتولید نتایج، گسترش تحقیقات و بهره‌برداری از این روش توسط سایر محققان و توسعه‌دهندگان را فراهم می‌کند، که به نوبه خود به پیشرفت سریع‌تر علم کمک شایانی می‌نماید.

در مجموع، این پژوهش نه تنها یک مشکل عملی در VTs را حل می‌کند، بلکه چارچوبی جدید برای تفکر در مورد طراحی و آموزش مدل‌های هوش مصنوعی ارائه می‌دهد که پیامدهای مثبتی برای آینده این حوزه دارد.

نتیجه‌گیری

مقاله “انتروپی فضایی به عنوان یک سوگیری القایی برای ترانسفورمرهای بینایی” یک رویکرد نوآورانه و مؤثر را برای پرداختن به یکی از چالش‌های اساسی ترانسفورمرهای بینایی (VTs) ارائه می‌دهد: نیاز آن‌ها به حجم عظیم داده‌های آموزشی. این پژوهش با پیشنهاد استفاده از انتروپی فضایی به عنوان یک تسک خود-نظارتی کمکی، توانسته است سوگیری القایی محلی لازم برای درک ساختارهای تصویری را به VTs تزریق کند، بدون آنکه نیازی به تغییرات در معماری عمومی و یکپارچه ترانسفورمر باشد.

یافته‌های کلیدی این تحقیق نشان می‌دهند که روش پیشنهادی نه تنها عملکردی معادل یا بهتر از رویکردهای مبتنی بر تغییر معماری ارائه می‌دهد، بلکه به طور خاص، دقت VTs را در شرایط کمبود داده به شدت افزایش می‌دهد. این قابلیت، چشم‌اندازهای جدیدی را برای کاربرد VTs در حوزه‌هایی با داده‌های محدود مانند پزشکی، رباتیک و سنجش از دور باز می‌کند. همچنین، این پژوهش به وضوح نشان می‌دهد که نقشه‌های توجه VTs آموزش‌دیده با این روش، ساختارهای خوشه‌بندی فضایی معناداری را منعکس می‌کنند که پیش از این تنها در مدل‌های خود-نظارتی خالص مشاهده می‌شد.

این مقاله نه تنها یک راه‌حل عملی برای بهبود VTs ارائه می‌دهد، بلکه یک پارادایم جدید را برای القای سوگیری‌های القایی به مدل‌های یادگیری عمیق پیشنهاد می‌کند. این رویکرد به توسعه مدل‌های هوش مصنوعی عمومی‌تر و قابل انطباق‌تر کمک می‌کند که می‌توانند بدون تغییرات معماری اساسی، به طور مؤثر در دامنه‌های مختلف به کار گرفته شوند.

در نهایت، این تحقیق یک گام مهم در پیشبرد مرزهای ترانسفورمرهای بینایی است و راه را برای تحقیقات آتی گسترش می‌دهد:

• بررسی فرمول‌بندی‌های جایگزین برای انتروپی فضایی و سایر معیارهای خوشه‌بندی معنایی.
• ادغام این رویکرد با دیگر روش‌های یادگیری خود-نظارتی برای کسب مزایای هم‌افزایی.
• اعمال و ارزیابی این روش در معماری‌های ترانسفورمر پیچیده‌تر و برای وظایف بینایی ماشین چالش‌برانگیزتر (مانند تولید تصویر یا ویدئو).
• کاوش پتانسیل این ایده برای سایر مدل‌های پایه در حوزه‌هایی فراتر از بینایی ماشین.

به طور خلاصه، این کار نه تنها یک مشکل فنی را حل می‌کند، بلکه به درک عمیق‌تر ما از نحوه عملکرد ترانسفورمرها و چگونگی بهینه‌سازی آن‌ها برای جهان واقعی کمک می‌کند، و آینده‌ای را نوید می‌دهد که در آن مدل‌های هوش مصنوعی قدرتمند، کارآمد و انعطاف‌پذیرتر خواهند بود.