مقاله XCiT: Cross-Covariance Image Transformers، رویکردی نوآورانه را برای استفاده از ترنسفورمرها در بینایی کامپیوتر (Computer Vision) ارائه می‌دهد. این مقاله، به چالش اصلی ترنسفورمرها در پردازش تصاویر با وضوح بالا، یعنی پیچیدگی محاسباتی بالا، پرداخته و راه حلی کارآمد ارائه می‌کند. با توجه به موفقیت ترنسفورمرها در پردازش زبان طبیعی (NLP)، استفاده از آنها در بینایی ماشین نویدبخش بوده، اما محدودیت‌های محاسباتی، استفاده گسترده از آن‌ها را دشوار ساخته است. این مقاله، با معرفی یک مکانیزم توجه (Attention Mechanism) جدید به نام توجه کوواریانس متقابل (Cross-Covariance Attention – XCA)، این محدودیت را برطرف می‌کند.

این مقاله توسط تیمی از محققان به رهبری علاءالدین النوبی، هوگو توورون، ماتیلد کارون، پیوتر بوجانوفسکی، ماتیاس دوزه، آرماند ژولین، ایوان لاپتو، ناتالیا نِوِرووا، گابریل سینایو و یاکوب وربیک و هروه ژگو نوشته شده است. این محققان در زمینه‌های بینایی کامپیوتر، یادگیری ماشین و پردازش تصویر تخصص دارند و این مقاله، نتیجه تلاش‌های آن‌ها برای بهبود کارایی و مقیاس‌پذیری ترنسفورمرها در وظایف بینایی ماشین است. تخصص متنوع نویسندگان در حوزه‌های مختلف یادگیری ماشین و بینایی کامپیوتر، به غنای محتوای مقاله و ارائه راهکارهای جامع برای چالش‌های موجود کمک کرده است.

در چکیده این مقاله آمده است که ترنسفورمرها پس از موفقیت در پردازش زبان طبیعی، پتانسیل بالایی در بینایی کامپیوتر نشان داده‌اند. مکانیزم خود-توجه (Self-Attention) که پایه ترنسفورمرها را تشکیل می‌دهد، تعاملات سراسری بین تمام توکن‌ها (Token) (کلمات یا قطعات تصویر) را فراهم می‌کند و مدل‌سازی انعطاف‌پذیر داده‌های تصویر فراتر از تعاملات محلی کانولوشن‌ها را ممکن می‌سازد. با این حال، این انعطاف‌پذیری با پیچیدگی درجه دوم در زمان و حافظه همراه است، که مانع از کاربرد آن در توالی‌های طولانی و تصاویر با وضوح بالا می‌شود.

نویسندگان، نسخه “جابه‌جا شده” (Transposed) از خود-توجه را پیشنهاد می‌کنند که به جای توکن‌ها، در بین کانال‌های ویژگی (Feature Channel) عمل می‌کند، جایی که تعاملات بر اساس ماتریس کوواریانس متقابل بین کلیدها (Keys) و پرسش‌ها (Queries) است. توجه کوواریانس متقابل (XCA) حاصل، دارای پیچیدگی خطی در تعداد توکن‌ها است و امکان پردازش کارآمد تصاویر با وضوح بالا را فراهم می‌کند. ترنسفورمر تصویر کوواریانس متقابل (XCiT) بر اساس XCA ساخته شده است. این مدل، دقت ترنسفورمرهای معمولی را با مقیاس‌پذیری معماری‌های کانولوشنی ترکیب می‌کند. نویسندگان، اثربخشی و جامعیت XCiT را با گزارش نتایج عالی در چندین معیار سنجش بینایی، از جمله طبقه‌بندی تصویر و یادگیری ویژگی خود-نظارتی (Self-Supervised Feature Learning) در ImageNet-1k، تشخیص شی (Object Detection) و قطعه‌بندی نمونه (Instance Segmentation) در COCO، و قطعه‌بندی معنایی (Semantic Segmentation) در ADE20k، تأیید می‌کنند.

روش‌شناسی تحقیق در این مقاله بر پایه معرفی یک معماری جدید به نام XCiT است که از مکانیزم توجه کوواریانس متقابل (XCA) استفاده می‌کند. XCA، با محاسبه کوواریانس متقابل بین کانال‌های ویژگی، پیچیدگی محاسباتی را از درجه دوم به خطی کاهش می‌دهد. این امر باعث می‌شود که XCiT بتواند تصاویر با وضوح بالا را با کارایی بیشتری پردازش کند.

محققان، XCiT را بر روی چندین مجموعه داده بزرگ و معروف در حوزه بینایی ماشین آزمایش کرده‌اند. این مجموعه‌ داده‌ها شامل ImageNet-1k برای طبقه‌بندی تصویر، COCO برای تشخیص شی و قطعه‌بندی نمونه، و ADE20k برای قطعه‌بندی معنایی است. نتایج به دست آمده نشان می‌دهد که XCiT در مقایسه با سایر مدل‌های ترنسفورمر و کانولوشنی، عملکرد بهتری دارد و می‌تواند به دقت بالاتری دست یابد.

برای ارزیابی عملکرد XCiT، از معیارهای مختلفی استفاده شده است. در طبقه‌بندی تصویر، از دقت (Accuracy) استفاده شده است. در تشخیص شی، از میانگین دقت متوسط (Mean Average Precision – mAP) استفاده شده است. در قطعه‌بندی معنایی، از میانگین تقاطع روی اتحاد (Mean Intersection over Union – mIoU) استفاده شده است. این معیارها، عملکرد مدل را در جنبه‌های مختلف ارزیابی می‌کنند و اطمینان حاصل می‌کنند که XCiT به طور جامع مورد ارزیابی قرار گرفته است.

• توجه کوواریانس متقابل (XCA): بهبود کارایی محاسباتی از طریق محاسبه کوواریانس متقابل بین کانال‌های ویژگی.
• آزمایش بر روی مجموعه‌ داده‌های بزرگ: ارزیابی عملکرد XCiT بر روی ImageNet-1k, COCO, و ADE20k.
• استفاده از معیارهای ارزیابی استاندارد: اندازه‌گیری عملکرد با استفاده از Accuracy, mAP, و mIoU.

یافته‌های کلیدی این مقاله عبارتند از:

• کارایی بالا در پردازش تصاویر با وضوح بالا: XCiT به دلیل استفاده از XCA، می‌تواند تصاویر با وضوح بالا را با کارایی بیشتری نسبت به ترنسفورمرهای معمولی پردازش کند. این امر، XCiT را برای کاربردهایی که نیاز به پردازش تصاویر با جزئیات زیاد دارند، مناسب می‌سازد.
• دقت بالا در وظایف مختلف بینایی ماشین: XCiT در وظایف مختلف بینایی ماشین، از جمله طبقه‌بندی تصویر، تشخیص شی و قطعه‌بندی معنایی، دقت بالایی را نشان می‌دهد. این امر، نشان‌دهنده جامعیت و اثربخشی XCiT است.
• مقیاس‌پذیری خوب: XCiT به خوبی مقیاس‌پذیر است و می‌تواند بر روی مجموعه‌ داده‌های بزرگ و مدل‌های پیچیده به کار گرفته شود. این امر، XCiT را برای کاربردهایی که نیاز به پردازش حجم زیادی از داده دارند، مناسب می‌سازد.
• عملکرد رقابتی یا بهتر نسبت به روش‌های پیشین: در اغلب موارد، XCiT توانسته عملکرد بهتری نسبت به مدل‌های ترنسفورمری و کانولوشنی موجود ارائه دهد.

به عنوان مثال، در طبقه‌بندی تصویر بر روی ImageNet-1k، XCiT توانسته است دقت قابل توجهی را به دست آورد که با بهترین مدل‌های موجود رقابت می‌کند. در تشخیص شی بر روی COCO، XCiT توانسته است mAP بالایی را به دست آورد که نشان‌دهنده توانایی آن در تشخیص دقیق اشیاء در تصاویر است.

XCiT دارای کاربردهای گسترده‌ای در زمینه‌های مختلف بینایی ماشین است. برخی از این کاربردها عبارتند از:

• طبقه‌بندی تصویر: تشخیص و طبقه‌بندی اشیاء در تصاویر. به عنوان مثال، XCiT می‌تواند برای تشخیص نوع خودرو در یک تصویر استفاده شود.
• تشخیص شی: مکان‌یابی و شناسایی اشیاء در تصاویر. به عنوان مثال، XCiT می‌تواند برای تشخیص چهره افراد در یک تصویر استفاده شود.
• قطعه‌بندی معنایی: تقسیم‌بندی تصاویر به مناطق مختلف بر اساس معنای آن‌ها. به عنوان مثال، XCiT می‌تواند برای قطعه‌بندی یک تصویر از منظره به مناطق آسمان، درختان و زمین استفاده شود.
• یادگیری ویژگی خود-نظارتی: آموزش مدل‌ها برای یادگیری ویژگی‌های مفید از داده‌های بدون برچسب. این مورد برای سناریوهایی که داده‌های برچسب‌دار کمی در دسترس است، بسیار مفید است.

دستاوردهای این مقاله شامل معرفی یک معماری جدید و کارآمد برای استفاده از ترنسفورمرها در بینایی ماشین است. XCiT، با کاهش پیچیدگی محاسباتی و بهبود دقت، راه را برای استفاده گسترده‌تر از ترنسفورمرها در کاربردهای مختلف بینایی ماشین هموار می‌کند.

مقاله XCiT: Cross-Covariance Image Transformers، گامی مهم در جهت بهبود کارایی و مقیاس‌پذیری ترنسفورمرها در بینایی ماشین است. با معرفی مکانیزم توجه کوواریانس متقابل (XCA)، XCiT می‌تواند تصاویر با وضوح بالا را با کارایی بیشتری پردازش کند و دقت بالایی را در وظایف مختلف بینایی ماشین به دست آورد.

این مقاله، نشان می‌دهد که ترنسفورمرها پتانسیل بالایی در بینایی ماشین دارند و با توسعه معماری‌های کارآمد، می‌توان از آن‌ها در کاربردهای گسترده‌تری استفاده کرد. XCiT، به عنوان یک معماری نوآورانه و کارآمد، می‌تواند به عنوان پایه برای تحقیقات آینده در زمینه ترنسفورمرها و بینایی ماشین مورد استفاده قرار گیرد. نتایج این تحقیق، تاثیر قابل توجهی بر جامعه تحقیقاتی بینایی کامپیوتر خواهد داشت و راه را برای توسعه مدل‌های قدرتمندتر و کارآمدتر در آینده هموار خواهد کرد.