در سال‌های اخیر، معماری‌های مبتنی بر ترنسفورمر (Transformer) که با مکانیزم توجه (Attention) کار می‌کنند، انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده و سپس با موفقیت به حوزه بینایی کامپیوتر (Computer Vision) نیز راه یافتند. این مدل‌ها توانایی فوق‌العاده‌ای در درک روابط پیچیده درون داده‌ها دارند. با این حال، یکی از چالش‌های اصلی در یادگیری عمیق، به‌ویژه در کاربردهای بینایی، کمبود داده‌های برچسب‌دار و نیاز به مدل‌هایی است که بتوانند از داده‌های موجود بهینه‌ترین استفاده را ببرند.

مقاله BatchFormerV2 یک رویکرد نوآورانه برای حل این مشکل ارائه می‌دهد. این مقاله بر پایه نسخه قبلی خود، یعنی BatchFormer، ساخته شده است. ایده اصلی BatchFormer اعمال مکانیزم توجه بر روی «بُعد بچ» (Batch Dimension) داده‌ها بود. در حالی که ترنسفورمرهای استاندارد روابط بین پیکسل‌ها یا توکن‌های *درون یک نمونه* را تحلیل می‌کنند، BatchFormer روابط *بین نمونه‌های مختلف در یک بچ* را کاوش می‌کند. این کار به مدل اجازه می‌دهد تا از اطلاعات زمینه‌ای موجود در کل بچ برای یادگیری بازنمایی‌های غنی‌تر و قوی‌تر بهره ببرد.

اهمیت BatchFormerV2 در تعمیم این ایده قدرتمند به وظایف «یادگیری بازنمایی فشرده» (Dense Representation Learning) نهفته است. وظایفی مانند تشخیص اشیاء (Object Detection) و بخش‌بندی معنایی (Segmentation) نیازمند درک دقیق در سطح پیکسل هستند. این مقاله یک ماژول کارآمد و Plug-and-Play (آماده استفاده) ارائه می‌دهد که به راحتی با مدل‌های موجود ادغام می‌شود و عملکرد آن‌ها را به طور قابل توجهی بهبود می‌بخشد، بدون آنکه هیچ‌گونه هزینه محاسباتی اضافی در زمان استنتاج (Inference) تحمیل کند. این ویژگی آن را به یک ابزار بسیار جذاب و کاربردی برای محققان و مهندسان هوش مصنوعی تبدیل می‌کند.

این مقاله توسط تیمی از محققان برجسته در زمینه هوش مصنوعی و بینایی کامپیوتر به نگارش درآمده است:

• Zhi Hou
• Baosheng Yu
• Chaoyue Wang
• Yibing Zhan
• Dacheng Tao

این پژوهشگران در مراکز تحقیقاتی پیشرو فعالیت دارند و سهم قابل توجهی در پیشرفت یادگیری عمیق داشته‌اند. این مقاله در دسته تحقیقاتی «بینایی کامپیوتر و بازشناسی الگو» (Computer Vision and Pattern Recognition) و «هوش مصنوعی» (Artificial Intelligence) قرار می‌گیرد. زمینه اصلی تحقیق، بهبود معماری‌های مبتنی بر ترنسفورمر، به ویژه برای وظایف بینایی فشرده است. این کار در ادامه مسیر تحقیقاتی مدل‌هایی مانند Vision Transformer (ViT) و DETR (DEtection TRansformer) قرار دارد و به دنبال افزایش بهره‌وری داده و بهبود قدرت تعمیم مدل‌ها از طریق کاوش روابط بین نمونه‌ای است.

مقاله با اشاره به محبوبیت گسترده مکانیزم‌های توجه و موفقیت معماری ترنسفورمر در حوزه‌های مختلف، به معرفی ایده BatchFormer می‌پردازد. BatchFormer ماژولی بود که با اعمال توجه بر روی بعد بچ، به دنبال کشف روابط بین نمونه‌ها برای غلبه بر چالش کمبود داده بود. اما محدودیت اصلی آن، کارایی صرفاً برای بازنمایی‌های سطح تصویر (Image-level) و وظیفه طبقه‌بندی (Classification) بود.

در این مقاله، نویسندگان یک ماژول ترنسفورمر بچ عمومی‌تر به نام BatchFormerV2 را معرفی می‌کنند که این ایده را به حوزه یادگیری بازنمایی فشرده گسترش می‌دهد. روش پیشنهادی در طول فرآیند آموزش از یک «خط لوله دو جریانی» (Two-stream Pipeline) استفاده می‌کند. یک جریان، مدل استاندارد بدون ماژول BatchFormerV2 است و جریان دیگر، همان مدل به همراه این ماژول است. جریان مجهز به BatchFormerV2 به مدل اصلی کمک می‌کند تا بازنمایی‌های بهتری یاد بگیرد.

نکته کلیدی این است که در زمان تست یا استنتاج، جریانی که شامل ماژول BatchFormerV2 است به طور کامل حذف می‌شود. این بدان معناست که مدل نهایی دقیقاً همان معماری و هزینه محاسباتی مدل اولیه را دارد. در نتیجه، BatchFormerV2 یک ماژول آماده استفاده است که به سادگی در ترنسفورمرهای بینایی مختلف ادغام شده و عملکرد را بدون هیچ هزینه اضافی در فاز عملیاتی، بهبود می‌بخشد. نویسندگان کارایی این روش را در وظایف متنوعی از جمله طبقه‌بندی تصویر، تشخیص اشیاء و بخش‌بندی پانوبتیک (Panoptic Segmentation) نشان می‌دهند و به طور خاص، بهبود پایداری بیش از ۱.۳٪ را در مدل‌های تشخیص شیء مبتنی بر DETR گزارش می‌کنند.

معماری BatchFormerV2 بر اساس یک ایده هوشمندانه برای بهره‌برداری از اطلاعات موجود در یک بچ از داده‌ها طراحی شده است. در ادامه، اجزای اصلی این روش‌شناسی تشریح می‌شوند:

• توجه بچ-محور (Batch-wise Attention): برخلاف مکانیزم توجه استاندارد در ترنسفورمرها که به روابط بین توکن‌ها (مثلاً پچ‌های تصویر) در *یک* نمونه توجه می‌کند، توجه بچ-محور روابط بین بازنمایی‌های نمونه‌های *مختلف* در یک بچ را مدل‌سازی می‌کند. این کار به هر نمونه اجازه می‌دهد تا از طریق «توجه» به سایر نمونه‌ها، ویژگی‌های خود را پالایش و غنی‌سازی کند. برای مثال، اگر در یک بچ تصاویری از گربه‌های مختلف وجود داشته باشد، مدل یاد می‌گیرد که ویژگی‌های مشترک و متمایز کننده گربه‌ها را بهتر استخراج کند.
• خط لوله آموزش دو-جریانی (Two-stream Training Pipeline): این مهم‌ترین بخش نوآوری BatchFormerV2 است. در طول آموزش، مدل از دو مسیر موازی استفاده می‌کند:
  1. جریان اصلی (Main Stream): این همان معماری استاندارد مدل هدف است (مانند Deformable-DETR). این جریان ورودی را پردازش کرده و خروجی نهایی را تولید می‌کند.
  2. جریان بچ‌فرمر (BatchFormer Stream): این جریان یک شاخه کمکی است. نقشه‌های ویژگی (Feature Maps) تولید شده توسط جریان اصلی، وارد ماژول BatchFormerV2 می‌شوند. این ماژول با اعمال توجه بچ-محور، این ویژگی‌ها را پالایش کرده و پیش‌بینی‌های کمکی خود را تولید می‌کند.
• تابع هزینه ترکیبی: در فرآیند آموزش، تابع هزینه نهایی از ترکیب خطای هر دو جریان محاسبه می‌شود. این کار باعث می‌شود که جریان اصلی مجبور شود ویژگی‌هایی را یاد بگیرد که نه تنها برای خود نمونه مفید هستند، بلکه با زمینه کلی بچ نیز سازگارند. در واقع، جریان بچ‌فرمر به عنوان یک «تنظیم‌کننده» (Regularizer) عمل کرده و به مدل اصلی در یادگیری بازنمایی‌های قوی‌تر و قابل تعمیم‌تر کمک می‌کند.
• حذف ماژول در زمان استنتاج: پس از اتمام آموزش، کل جریان بچ‌فرمر و ماژول BatchFormerV2 دور انداخته می‌شوند. مدل نهایی، تنها همان جریان اصلیِ آموزش‌دیده است. به همین دلیل، هیچ بار محاسباتی اضافی در زمان استنتاج وجود ندارد، که این یک مزیت عملی بسیار بزرگ محسوب می‌شود.

نویسندگان مقاله کارایی BatchFormerV2 را از طریق آزمایش‌های گسترده بر روی مجموعه داده‌های استاندارد مانند COCO برای تشخیص اشیاء و بخش‌بندی پانوبتیک، و ImageNet برای طبقه‌بندی، ارزیابی کرده‌اند. یافته‌های اصلی به شرح زیر است:

• بهبود پایدار در تشخیص اشیاء: BatchFormerV2 به طور مداوم عملکرد مدل‌های پیشرفته مبتنی بر DETR مانند DETR, Deformable-DETR, Conditional DETR و SMCA را بهبود می‌بخشد. این بهبود به طور میانگین بیش از ۱.۳٪ در معیار میانگین دقت متوسط (Average Precision) است که در این حوزه یک پیشرفت قابل توجه به شمار می‌رود.
• کارایی در بخش‌بندی پانوبتیک: این روش در وظیفه پیچیده بخش‌بندی پانوبتیک نیز که ترکیبی از بخش‌بندی معنایی و نمونه‌ای است، نتایج بسیار خوبی کسب کرده و نشان می‌دهد که یادگیری بازنمایی‌های فشرده و باکیفیت‌تر به درک بهتر صحنه کمک می‌کند.
• افزایش دقت در طبقه‌بندی تصویر: علاوه بر وظایف فشرده، این ماژول در وظیفه کلاسیک طبقه‌بندی تصویر نیز باعث بهبود عملکرد مدل‌های پایه می‌شود که نشان‌دهنده عمومیت و انعطاف‌پذیری این رویکرد است.
• تأیید اثربخشی از طریق آزمایش‌های حذفی (Ablation Studies): آزمایش‌های تکمیلی نشان دادند که موفقیت این روش مستقیماً از مکانیزم توجه بچ-محور و استراتژی آموزش دو-جریانی نشأت می‌گیرد. حذف هر یک از این اجزا منجر به کاهش عملکرد می‌شود.

BatchFormerV2 فراتر از یک پیشرفت نظری، دستاوردهای عملی مهمی را به ارمغان می‌آورد:

• یک ماژول универсальный و آماده استفاده: بزرگترین دستاورد این مقاله ارائه یک ماژول Plug-and-Play است. توسعه‌دهندگان می‌توانند به راحتی این ماژول را به خطوط آموزش مدل‌های موجود خود اضافه کنند تا بدون نیاز به طراحی مجدد معماری، عملکرد آن‌ها را ارتقا دهند.
• بهبود بهره‌وری داده: با کاوش روابط بین نمونه‌ها، مدل قادر است الگوهای پیچیده‌تر و عمومی‌تری را از حجم داده یکسان یاد بگیرد. این ویژگی به ویژه در سناریوهایی با داده‌های محدود (Low-data Regimes) بسیار ارزشمند است.
• افزایش قدرت تعمیم مدل: بازنمایی‌هایی که با در نظر گرفتن زمینه سایر نمونه‌ها آموخته می‌شوند، معمولاً قوی‌تر بوده و در مواجهه با داده‌های دیده‌نشده عملکرد بهتری از خود نشان می‌دهند.
• کاربردهای عملی گسترده: بهبود دقت در تشخیص اشیاء و بخش‌بندی به طور مستقیم بر حوزه‌هایی مانند خودروهای خودران (شناسایی دقیق‌تر عابران پیاده و وسایل نقلیه)، تصویربرداری پزشکی (بخش‌بندی تومورها و بافت‌ها)، تحلیل تصاویر ماهواره‌ای و سیستم‌های رباتیک تأثیر مثبت می‌گذارد.

مقاله BatchFormerV2 یک گام مهم در جهت بهبود یادگیری بازنمایی در مدل‌های بینایی کامپیوتر برمی‌دارد. با تعمیم ایده توجه بچ-محور به وظایف یادگیری فشرده، نویسندگان راهکاری کارآمد و هوشمندانه ارائه داده‌اند که شکاف بین عملکرد بالا و هزینه محاسباتی پایین را پر می‌کند. رویکرد آموزش دو-جریانی و حذف ماژول کمکی در زمان استنتاج، یک استراتژی مبتکرانه است که به مدل‌ها اجازه می‌دهد «هوشمندتر» آموزش ببینند بدون آنکه در فاز عملیاتی سنگین‌تر شوند.

در نهایت، BatchFormerV2 نشان می‌دهد که هنوز پتانسیل زیادی برای نوآوری در نحوه استفاده از داده‌ها در فرآیند آموزش وجود دارد. این تحقیق مسیری جدید را برای کاوش اطلاعات سطح بچ باز می‌کند و می‌تواند الهام‌بخش کارهای آینده برای توسعه الگوریتم‌های یادگیری کارآمدتر و قوی‌تر در هوش مصنوعی باشد.