در سال‌های اخیر، مدل‌های ترانسفورمر (Transformer) انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند و به معماری‌های انتخابی برای بسیاری از وظایف پیچیده تبدیل شده‌اند. با این حال، انتقال این موفقیت به حوزه بینایی کامپیوتر (Computer Vision) با چالش‌های قابل توجهی همراه بوده است. مدل‌های ترانسفورمر که برای تصاویر به کار می‌روند، مانند ویژن ترانسفورمر (ViT)، اغلب به مقادیر بسیار زیادی داده آموزشی، حافظه GPU و توان محاسباتی نیاز دارند تا بتوانند با شبکه‌های عصبی کانولوشنال (CNNs) رقابت کنند. یکی از دلایل اصلی این مسئله، مکانیزم توجه (Attention Mechanism) ترانسفورمرهاست که با طول دنباله ورودی به صورت درجه دوم مقیاس‌بندی می‌شود. از آنجایی که تصاویر بازشده به دنباله‌های ورودی بسیار طولانی تبدیل می‌شوند، این پیچیدگی درجه دوم به یک گلوگاه جدی تبدیل می‌گردد.

علاوه بر این، ترانسفورمرهای سنتی فاقد یک بایاس استقرایی (Inductive Bias) ذاتی و مناسب برای تصاویر هستند. این بایاس، که در CNNها به شکل موضعیت و هم‌تغییری ترجمه وجود دارد، به مدل‌ها کمک می‌کند تا ویژگی‌های محلی را به طور مؤثرتری از تصاویر استخراج کنند و با داده‌های کمتری به تعمیم بهتری دست یابند. مقاله “ویژن Xformers: توجه کارآمد برای طبقه بندی تصاویر” به نویسندگی پراناو جیوان و آمیت سثی، به طور جامع به این کمبودها می‌پردازد و سه تغییر کلیدی را در معماری‌های ViT پیشنهاد می‌کند تا آنها را کارآمدتر، دقیق‌تر و در نهایت، در دسترس‌تر کند.

هدف نهایی این تحقیق دموکراتیزه کردن ترانسفورمرها است؛ به این معنی که با کاهش نیاز به منابع محاسباتی و داده‌های حجیم، این ابزارهای قدرتمند هوش مصنوعی را برای محققان و سازمان‌هایی با منابع محدود نیز قابل استفاده سازد.

مقاله “Vision Xformers: Efficient Attention for Image Classification” توسط پراناو جیوان (Pranav Jeevan) و آمیت سثی (Amit Sethi) به رشته تحریر درآمده است. این پژوهش در تقاطع چندین حوزه مهم از هوش مصنوعی (Artificial Intelligence) و یادگیری ماشین (Machine Learning) قرار دارد که به طور خاص بر روی بینایی کامپیوتر و تشخیص الگو (Computer Vision and Pattern Recognition) و همچنین پیچیدگی محاسباتی (Computational Complexity) متمرکز است.

نویسندگان در این مقاله به دنبال یافتن راهکارهایی برای بهبود کارایی و عملکرد مدل‌های ترانسفورمر در وظایف بینایی کامپیوتر هستند. این تحقیق، نشان‌دهنده یک گرایش گسترده‌تر در جامعه هوش مصنوعی است که به سمت توسعه مدل‌های کارآمدتر و پایدارتر حرکت می‌کند. در حالی که ترانسفورمرها قابلیت‌های بی‌نظیری را ارائه می‌دهند، اما اغلب به دلیل نیازهای محاسباتی سنگین، استفاده از آن‌ها به منابع زیادی محدود شده است. این مقاله با تمرکز بر این محدودیت‌ها، گامی مهم در جهت همگانی‌سازی فناوری ترانسفورمر برمی‌دارد و راه را برای کاربردهای گسترده‌تر آن در سناریوهای واقعی و محیط‌های با منابع محدود هموار می‌سازد.

با وجود موفقیت‌های چشمگیر ترانسفورمرها در پردازش زبان طبیعی، کاربرد آن‌ها در بینایی کامپیوتر با چالش‌های اساسی همراه است. ترانسفورمرها برای رقابت با شبکه‌های عصبی کانولوشنال (CNNs) در بینایی کامپیوتر، نیازمند داده‌های آموزشی، حافظه GPU و محاسبات به مراتب بیشتری هستند. دلیل اصلی این امر، مقیاس‌پذیری درجه دوم مکانیزم توجه نسبت به طول دنباله ورودی است؛ و از آنجایی که تصاویر به دنباله‌هایی با طول زیاد تبدیل می‌شوند، این موضوع به یک گلوگاه تبدیل می‌شود. علاوه بر این، ترانسفورمرها فاقد بایاس استقرایی مناسب برای تصاویر هستند.

در پاسخ به این چالش‌ها، این تحقیق سه تغییر مهم را در معماری‌های ویژن ترانسفورمر (ViT) آزمایش کرده است:

• کاهش گلوگاه درجه دوم با استفاده از توجه خطی: اولین تغییر، کاهش گلوگاه مقیاس‌پذیری درجه دوم با استفاده از مکانیزم‌های توجه خطی است که آن‌ها را X-formers می‌نامند (که X می‌تواند Performer، Linformer، یا Nyströmformer باشد). این تغییر منجر به کاهش تا هفت برابری در نیاز به حافظه GPU شده است. همچنین، عملکرد این روش‌ها با FNet و MLP Mixers، که نیاز به حافظه GPU را بیش از پیش کاهش می‌دهند، مقایسه شده است.
• معرفی بایاس استقرایی با لایه‌های کانولوشنال: دومین تغییر، معرفی یک بایاس استقرایی مناسب برای تصاویر است. این کار با جایگزینی لایه جاسازی خطی اولیه در ViX با لایه‌های کانولوشنال انجام شده است. این اصلاح به طور قابل توجهی دقت طبقه‌بندی را افزایش داده، بدون اینکه اندازه مدل را افزایش دهد.
• جایگزینی جاسازی موقعیت با RoPE: سومین تغییر، جایگزینی جاسازی‌های موقعیت 1D قابل یادگیری در ViT با جاسازی موقعیت چرخشی (RoPE) است. این کار نیز منجر به افزایش دقت طبقه‌بندی برای همان اندازه مدل شده است.

نویسندگان معتقدند که گنجاندن چنین تغییراتی می‌تواند با در دسترس قرار دادن ترانسفورمرها برای افرادی که دارای داده‌های محدود و منابع محاسباتی کمتری هستند، به دموکراتیزه شدن ترانسفورمرها کمک کند.

روش‌شناسی این تحقیق بر پایه سه اصلاح اصلی در معماری استاندارد ویژن ترانسفورمر (ViT) استوار است که هر یک به یکی از چالش‌های کلیدی این مدل‌ها در حوزه بینایی کامپیوتر می‌پردازند. هدف کلی، بهبود کارایی محاسباتی، کاهش نیاز به حافظه و تقویت دقت طبقه‌بندی تصاویر است.

1. رفع گلوگاه مقیاس‌پذیری درجه دوم با استفاده از مکانیزم‌های توجه خطی (X-formers)

یکی از بزرگترین موانع در استفاده از ترانسفورمرها برای تصاویر، پیچیدگی درجه دوم مکانیزم توجه استاندارد است. در ViT، یک تصویر به مجموعه‌ای از “پچ‌ها” تقسیم می‌شود که هر پچ به عنوان یک توکن در دنباله ورودی ترانسفورمر عمل می‌کند. برای تصاویر با وضوح بالا، این دنباله‌ها می‌توانند بسیار طولانی باشند (N بزرگ)، که منجر به پیچیدگی محاسباتی O(N²) و نیاز به حافظه O(N²) در مکانیزم توجه می‌شود. این مسئله باعث مصرف بی‌رویه حافظه GPU و زمان آموزش طولانی می‌گردد.

برای غلبه بر این گلوگاه، نویسندگان مکانیزم‌های توجه خطی موسوم به X-formers را به کار گرفته‌اند. این خانواده از مدل‌ها شامل Performer، Linformer و Nyströmformer هستند. این مکانیزم‌ها با استفاده از تکنیک‌هایی مانند تقریب هسته (kernel approximation) یا کاهش ابعاد پرس‌وجوها و کلیدها، پیچیدگی توجه را از درجه دوم به خطی (O(N)) یا نزدیک به خطی کاهش می‌دهند. به عنوان مثال، Linformer با پروژه کردن پرس‌وجوها و کلیدها به فضایی با ابعاد پایین‌تر، پیچیدگی را کاهش می‌دهد، در حالی که Performer از ویژگی‌های تصادفی برای تقریب مکانیزم توجه استفاده می‌کند. Nyströmformer نیز با انتخاب نماینده‌های هوشمند از دنباله، توجه را با کارایی بیشتری محاسبه می‌کند. نتایج آزمایشات نشان داد که استفاده از X-formers منجر به کاهش قابل توجه تا هفت برابری در نیاز به حافظه GPU شده است که امکان آموزش مدل‌های بزرگ‌تر و یا استفاده از دسته‌های بزرگ‌تر داده را فراهم می‌آورد. علاوه بر این، مقاله به مقایسه عملکرد این مدل‌ها با FNet و معماری‌های MLP Mixers نیز پرداخته است که این مدل‌ها نیز به نوبه خود، نیاز به حافظه GPU را به دلیل حذف کامل مکانیزم توجه یا استفاده از جایگزین‌های ساده‌تر، بیشتر کاهش می‌دهند.

2. معرفی بایاس استقرایی برای تصاویر با جایگزینی لایه‌های کانولوشنال

ترانسفورمرهای اصلی، از جمله ViT، فاقد بایاس استقرایی خاصی برای تصاویر هستند. شبکه‌های عصبی کانولوشنال (CNNs) به طور طبیعی از بایاس‌هایی مانند موضعیت (locality) و هم‌تغییری ترجمه (translation equivariance) بهره‌مند هستند که به آن‌ها اجازه می‌دهد ویژگی‌هایی مانند لبه‌ها، بافت‌ها و الگوهای محلی را به طور مؤثری استخراج کنند. این ویژگی‌ها باعث می‌شوند CNNها حتی با داده‌های آموزشی کمتر نیز عملکرد خوبی داشته باشند و تعمیم‌پذیری بالایی از خود نشان دهند. ViT برای جبران این کمبود، به حجم عظیمی از داده‌های آموزشی نیاز دارد تا بتواند این الگوهای بصری را از ابتدا یاد بگیرد.

برای حل این مشکل، نویسندگان لایه جاسازی خطی اولیه در ViX را با لایه‌های کانولوشنال جایگزین کرده‌اند. لایه جاسازی خطی سنتی در ViT صرفاً هر پچ تصویر را به یک بردار خطی تبدیل می‌کند. با جایگزینی این لایه با یک یا چند لایه کانولوشنال، مدل در همان مراحل اولیه پردازش، می‌تواند از توانایی‌های استخراج ویژگی‌های محلی CNNها بهره‌مند شود. این لایه‌های کانولوشنال به عنوان یک پیش‌پردازنده برای ترانسفورمر عمل می‌کنند و ویژگی‌های سلسله‌مراتبی و محلی‌تری را تولید می‌کنند که برای مدل ترانسفورمر معنای بهتری دارند. این تغییر به طور قابل توجهی دقت طبقه‌بندی را افزایش می‌دهد، چرا که مدل اکنون از دانش ساختاری درونی تصاویر بهره می‌برد، و نکته مهم‌تر اینکه این بهبود در دقت بدون افزایش اندازه کلی مدل حاصل می‌شود.

3. بهبود جاسازی‌های موقعیت با استفاده از Rotary Position Embedding (RoPE)

در ترانسفورمرها، جاسازی‌های موقعیت (Position Embeddings) برای وارد کردن اطلاعات مکانی توکن‌ها به مدل ضروری هستند، زیرا مکانیزم توجه به خودی خود اطلاعات ترتیب دنباله را در نظر نمی‌گیرد. در ViT استاندارد، اینها معمولاً جاسازی‌های 1D قابل یادگیری هستند که به بردارهای توکن اضافه می‌شوند.

نویسندگان در این تحقیق، جاسازی‌های موقعیت 1D قابل یادگیری در ViT را با جاسازی موقعیت چرخشی (Rotary Position Embedding – RoPE) جایگزین کرده‌اند. RoPE یک روش جدیدتر و کارآمدتر برای کدگذاری اطلاعات موقعیت است که اطلاعات موقعیت نسبی را مستقیماً در مکانیزم توجه تعبیه می‌کند. به جای اضافه کردن یک بردار موقعیت مطلق به هر توکن، RoPE با اعمال یک تبدیل چرخشی بر روی بردارهای پرس‌وجو و کلید، به مدل امکان می‌دهد تا روابط فضایی بین توکن‌ها را به طور دقیق‌تر و با جزئیات بیشتری درک کند. این رویکرد به ویژه برای تصاویر که در آن‌ها روابط مکانی بین پچ‌ها حیاتی است، سودمند است. این تغییر نیز به نوبه خود منجر به افزایش دقت طبقه‌بندی می‌شود، در حالی که اندازه مدل بدون تغییر باقی می‌ماند.

این تحقیق به نتایج مهمی دست یافته است که پتانسیل مدل‌های ترانسفورمر را در بینایی کامپیوتر متحول می‌کند. یافته‌های کلیدی مقاله “ویژن Xformers” را می‌توان به صورت زیر خلاصه کرد:

• کاهش چشمگیر نیاز به حافظه GPU: مهمترین دستاورد، کاهش تا هفت برابری در نیاز به حافظه GPU است که با استفاده از مکانیزم‌های توجه خطی X-formers (شامل Performer، Linformer و Nyströmformer) حاصل شده است. این کاهش هزینه محاسباتی، به محققان و توسعه‌دهندگان اجازه می‌دهد تا مدل‌های ترانسفورمر را با منابع سخت‌افزاری کمتری آموزش دهند یا مدل‌های بسیار بزرگ‌تری را با همان منابع مدیریت کنند.

• بهبود دقت طبقه‌بندی با بایاس استقرایی کانولوشنال: با جایگزینی لایه جاسازی خطی اولیه در ViX با لایه‌های کانولوشنال، مدل توانست از بایاس استقرایی ذاتی تصاویر بهره‌مند شود. این تغییر منجر به افزایش قابل توجه دقت طبقه‌بندی گردید، بدون اینکه اندازه کلی مدل افزایش یابد. این یافته تأکید می‌کند که ترکیب هوشمندانه اصول CNN با معماری ترانسفورمر می‌تواند به مدل‌های قدرتمندتر و کارآمدتری منجر شود.

• افزایش دقت با جاسازی موقعیت چرخشی (RoPE): استفاده از Rotary Position Embedding (RoPE) به جای جاسازی‌های موقعیت 1D سنتی، نیز به افزایش دقت طبقه‌بندی کمک کرده است. این نشان می‌دهد که روش‌های پیشرفته‌تر برای کدگذاری اطلاعات موقعیتی می‌توانند درک مدل از روابط فضایی در تصاویر را بهبود بخشند.

• دموکراتیزه کردن ترانسفورمرها: مجموع این اصلاحات نشان می‌دهد که می‌توان ترانسفورمرها را برای کاربردهایی که دسترسی به داده‌های عظیم و قدرت محاسباتی بالا محدود است، قابل دسترس‌تر ساخت. این امر، ترانسفورمرها را از یک ابزار نخبه‌گرا به یک فناوری فراگیرتر تبدیل می‌کند.

این یافته‌ها مجموعاً راه را برای توسعه نسل جدیدی از مدل‌های ترانسفورمر باز می‌کنند که هم کارآمدتر هستند و هم در طیف وسیع‌تری از سناریوها قابل استفاده خواهند بود.

دستاوردهای حاصل از تحقیق “ویژن Xformers” فراتر از پیشرفت‌های تئوری است و کاربردهای عملی گسترده‌ای را در دنیای واقعی به ارمغان می‌آورد. این مقاله با بهبود کارایی و دسترسی‌پذیری ترانسفورمرها، مسیر را برای استفاده از این معماری‌های قدرتمند در زمینه‌هایی که پیش‌تر به دلیل محدودیت‌های منابع غیرقابل تصور بود، هموار می‌کند. مهمترین کاربردها و دستاوردها عبارتند از:

• پردازش بینایی روی دستگاه‌های لبه (Edge Devices): کاهش چشمگیر نیاز به حافظه GPU و پیچیدگی محاسباتی به این معنی است که مدل‌های Vision X-formers (ViXs) می‌توانند بر روی دستگاه‌های با منابع محدود مانند گوشی‌های هوشمند، دوربین‌های هوشمند، وسایل نقلیه خودران و سایر سیستم‌های تعبیه‌شده (embedded systems) مستقر شوند. این قابلیت، هوش مصنوعی را به صورت محلی در اختیار کاربران قرار می‌دهد و نیاز به ارتباط مداوم با سرورهای ابری را کاهش می‌دهد.

• کار با مجموعه‌داده‌های محدود: معرفی بایاس استقرایی کانولوشنال و بهبود جاسازی‌های موقعیت، باعث افزایش دقت مدل حتی با داده‌های آموزشی کمتر می‌شود. این امر در حوزه‌هایی مانند تصویربرداری پزشکی (جایی که جمع‌آوری داده‌های برچسب‌دار بسیار دشوار و گران است)، سنجش از دور، یا در صنایع تخصصی با مجموعه‌داده‌های کوچک‌تر، بسیار ارزشمند است.

• آموزش سریع‌تر و استنتاج بهینه‌تر: با توجه خطی، زمان آموزش مدل‌ها به طور قابل توجهی کاهش می‌یابد. این موضوع نه تنها به کاهش هزینه‌های محاسباتی کمک می‌کند، بلکه چرخه توسعه و آزمایش مدل‌ها را نیز تسریع می‌بخشد. استنتاج بهینه‌تر نیز برای کاربردهایی که به پاسخ‌های بلادرنگ (real-time) نیاز دارند، حیاتی است.

• دموکراتیزه کردن هوش مصنوعی: مهمترین دستاورد این تحقیق، تحقق ایده دموکراتیزه کردن ترانسفورمرها است. با کاهش موانع ورود (نیاز به منابع زیاد)، این مدل‌ها برای محققان، استارتاپ‌ها و شرکت‌های کوچکتری که به ابررایانه‌ها یا مجموعه‌داده‌های عظیم دسترسی ندارند، قابل استفاده می‌شوند. این امر، نوآوری را در سراسر جامعه هوش مصنوعی تشویق می‌کند و به تنوع‌بخشی به توسعه‌دهندگان و ایده‌ها کمک می‌کند.

• کاربردهای گسترده‌تر در بینایی کامپیوتر: از تشخیص چهره و اشیاء گرفته تا بخش‌بندی تصاویر و تحلیل ویدئو، ViXs بهبودیافته می‌توانند در طیف وسیعی از وظایف بینایی کامپیوتر به کار گرفته شوند و عملکردی رقابتی با CNNها، اما با کارایی و انعطاف‌پذیری بیشتر، ارائه دهند.

در مجموع، “ویژن Xformers” تنها یک پیشرفت علمی نیست، بلکه گامی عملی به سوی ساخت سیستم‌های هوش مصنوعی کارآمدتر و دسترس‌پذیرتر است که می‌تواند تأثیر عمیقی بر صنایع مختلف و جامعه بگذارد.

مقاله “ویژن Xformers: توجه کارآمد برای طبقه بندی تصاویر” یک گام مهم و رو به جلو در مسیر تلفیق موفقیت‌آمیز معماری ترانسفورمر با چالش‌های حوزه بینایی کامپیوتر محسوب می‌شود. این تحقیق با شناسایی و حل سه محدودیت اساسی ViT (پیچیدگی درجه دوم توجه، عدم وجود بایاس استقرایی مناسب و ناکارآمدی جاسازی‌های موقعیت)، توانسته است مدل‌هایی را ارائه دهد که هم کارآمدتر و هم دقیق‌تر هستند.

با معرفی X-formers، نیاز به حافظه GPU به طرز چشمگیری کاهش یافته است، که این امر آموزش ترانسفورمرها را با منابع محدود ممکن می‌سازد. جایگزینی لایه جاسازی خطی با لایه‌های کانولوشنال، مدل را به یک بایاس استقرایی حیاتی برای تصاویر مجهز کرده و دقت طبقه‌بندی را افزایش داده است. همچنین، استفاده از Rotary Position Embedding (RoPE)، درک مدل از روابط فضایی را بهبود بخشیده و به دقت بالاتر منجر شده است.

این مقاله با نشان دادن اینکه می‌توان با اصلاحات هوشمندانه، ترانسفورمرها را از معماری‌هایی با نیازهای شدید به منابع، به ابزارهایی کارآمد و در دسترس تبدیل کرد، چشم‌انداز دموکراتیزه شدن هوش مصنوعی را محقق می‌سازد. دستاوردهای این پژوهش، راه را برای توسعه نسل جدیدی از سیستم‌های بینایی کامپیوتر باز می‌کند که می‌توانند در طیف وسیعی از کاربردها، از دستگاه‌های لبه گرفته تا تصویربرداری پزشکی، با کارایی و عملکرد بالا به کار گرفته شوند. این تغییرات نه تنها به پیشرفت علمی کمک می‌کنند، بلکه پتانسیل گسترده‌ای برای نوآوری در صنایع مختلف و تسهیل دسترسی به فناوری‌های پیشرفته هوش مصنوعی را فراهم می‌آورند.