در دنیای پرشتاب هوش مصنوعی، مدل‌های زبانی بزرگ (LLMs) و مدل‌های بینایی کامپیوتر (CV) با سرعت سرسام‌آوری در حال پیشرفت هستند. معماری ترانسفورمر (Transformer)، که ابتدا در پردازش زبان طبیعی (NLP) انقلابی به پا کرد، اکنون به یکی از ستون‌های اصلی در بسیاری از حوزه‌های یادگیری ماشین، از جمله بینایی کامپیوتر، تبدیل شده است. مدل‌هایی مانند Vision Transformer (ViT) نشان داده‌اند که ترانسفورمرها قادرند با روش‌های سنتی CNN، رقابت کرده و حتی در برخی موارد از آن‌ها پیشی بگیرند. با این حال، ادغام موفقیت‌آمیز ترانسفورمرها در بینایی کامپیوتر با چالش‌هایی همراه بوده است. یکی از این چالش‌ها، عدم بهره‌مندی کافی مدل‌های ترانسفورمر از “سوگیری القایی” (Inductive Bias – IB) است که به طور ذاتی در معماری‌های CNN وجود دارد و به یادگیری کارآمدتر الگوهای فضایی کمک می‌کند. مقاله‌ی مورد بررسی، با عنوان “Deep Transformers Thirst for Comprehensive-Frequency Data” (ترانسفورمرهای عمیق تشنه‌ی داده‌های بسامد-کامل)، به این چالش کلیدی پرداخته و راهکارهایی نوآورانه برای غلبه بر آن ارائه می‌دهد. این تحقیق نه تنها به درک عمیق‌تری از نحوه عملکرد ترانسفورمرها در بینایی کامپیوتر منجر می‌شود، بلکه پتانسیل بالایی برای ارتقاء عملکرد و کارایی مدل‌های بینایی در آینده دارد.

این مقاله توسط پژوهشگرانی به نام‌های Rui Xia, Chao Xue, Boyu Deng, Fang Wang و Jingchao Wang نوشته شده است. حوزه تحقیقاتی اصلی این گروه، یادگیری ماشین، با تمرکز ویژه بر روی بینایی کامپیوتر و شناخت الگو (Computer Vision and Pattern Recognition) است. مقالات قبلی این محققان نیز اغلب به بهبود معماری‌های شبکه‌های عصبی، به ویژه در زمینه پردازش تصویر و ویدئو، اختصاص داشته است. تمرکز بر روی معماری ترانسفورمر و چالش‌های مرتبط با انطباق آن با وظایف بینایی کامپیوتر، بخشی از تلاش‌های گسترده‌تر در جامعه علمی برای توسعه مدل‌های هوش مصنوعی قدرتمندتر و کارآمدتر است. درک دقیق این زمینه‌ها به ما کمک می‌کند تا اهمیت و نوآوری این مقاله را بهتر درک کنیم.

چکیده مقاله به خوبی هسته اصلی پژوهش را بیان می‌کند: پژوهش‌های کنونی نشان می‌دهند که سوگیری القایی (IB) می‌تواند عملکرد Vision Transformer (ViT) را بهبود بخشد. با این حال، این بهبود معمولاً با معرفی یک ساختار هرمی (Pyramid Structure) همراه است تا افزایش محاسبات (FLOPs) و پارامترهای ناشی از اضافه کردن IB جبران شود. این ساختار هرمی، که در مدل‌های CNN رایج است، باعث از بین رفتن یکپارچگی بین بینایی کامپیوتر و پردازش زبان طبیعی (NLP) و پیچیده‌تر شدن مدل می‌شود. پژوهشگران در این مقاله، مدلی به نام LSRA را که در NLP مطرح شده و IB را بدون ساختار هرمی معرفی می‌کند، مورد مطالعه قرار می‌دهند. آن‌ها کشف می‌کنند که دلیل برتری LSRA نسبت به ViT، افزایش سهم داده‌های فرکانس بالا (High-Frequency Data) در هر لایه است که به “توجه” (Attention) به اطلاعات بیشتر منجر می‌شود. در نتیجه، “هدها” (Heads) اطلاعات متنوع‌تری را تشخیص داده و عملکرد بهتری از خود نشان می‌دهند. برای کاوش بیشتر پتانسیل ترانسفورمرها، نویسندگان مدل EIT را پیشنهاد می‌کنند که IB را به طور مؤثر و با استفاده از یک ساختار کانولوشنی کاهشی (Decreasing Convolutional Structure) جدید و بدون ساختار هرمی، به ViT اضافه می‌کند. EIT عملکرد رقابتی با روش‌های پیشرفته (SOTA) در ImageNet-1K دارد و در مدل‌هایی با مقیاس مشابه و بدون ساختار هرمی، به عملکرد SOTA دست می‌یابد.

به طور خلاصه، این مقاله بر دو نکته کلیدی تمرکز دارد: اول، اهمیت سوگیری القایی در بهبود مدل‌های ترانسفورمر برای وظایف بینایی و دوم، لزوم یافتن روش‌هایی برای ادغام این سوگیری بدون نیاز به ساختارهای پیچیده هرمی که یکپارچگی مدل‌ها را بر هم می‌زند. نویسندگان نشان می‌دهند که تمرکز بر روی داده‌های بسامد بالا در لایه‌های ترانسفورمر، کلید اصلی ارتقاء عملکرد است و مدل EIT راهکار عملی برای دستیابی به این هدف ارائه می‌دهد.

روش‌شناسی این تحقیق را می‌توان در چند مرحله کلیدی خلاصه کرد:

• تحلیل مدل LSRA: اولین گام، بررسی دقیق مدل LSRA است که نشان داده بود می‌تواند با اضافه کردن IB بدون ساختار هرمی، عملکرد خوبی در NLP داشته باشد. نویسندگان با استفاده از تحلیل‌های نظری و تجربی، دلیل این موفقیت را کشف کردند.
• تجزیه و تحلیل فرکانس داده‌ها: بخش حیاتی روش‌شناسی، تحلیل نحوه توزیع اطلاعات فرکانس بالا و پایین در لایه‌های مختلف ترانسفورمر است. این تحقیق به این نکته توجه می‌کند که اضافه کردن IB چگونه باعث می‌شود “توجه” مدل به سمت جزئیات ریزتر (فرکانس بالا) بیشتر شود. مفهوم “توجه” (Attention) در معماری ترانسفورمر بسیار کلیدی است؛ این مکانیزم به مدل اجازه می‌دهد تا وزن‌های متفاوتی به بخش‌های مختلف ورودی اختصاص دهد. در این تحقیق، روشن شد که IB باعث می‌شود هدها (Attention Heads) اطلاعات مرتبط با فرکانس بالا را بیشتر مورد توجه قرار دهند.
• طراحی معماری EIT: بر اساس یافته‌های حاصل از تحلیل LSRA، نویسندگان معماری جدیدی به نام EIT (Efficiently introduces IB to ViT) را طراحی کردند. هدف اصلی EIT، ادغام کارآمد سوگیری القایی در مدل ViT بود، بدون آنکه ساختار هرمی معرفی شود.
• ساختار کانولوشنی کاهشی: بخش نوآورانه EIT، استفاده از یک ساختار کانولوشنی کاهشی است. در حالی که CNNهای سنتی از لایه‌های کانولوشنی متعدد برای استخراج ویژگی‌های سلسله مراتبی استفاده می‌کنند، EIT از یک رویکرد هوشمندانه‌تر بهره می‌برد. این ساختار به گونه‌ای طراحی شده که بتواند در ابتدای مسیر (لایه‌های اولیه ترانسفورمر) به طور مؤثری سوگیری القایی را وارد کند و اطلاعات بسامد بالا را استخراج نماید، اما بدون پیچیدگی‌های ناشی از یک ساختار هرمی کامل.
• آزمایش و ارزیابی: برای تأیید کارایی EIT، این مدل بر روی مجموعه داده‌های استاندارد مانند ImageNet-1K آزمایش شد. عملکرد EIT با روش‌های پیشرفته (SOTA) در همان مقیاس و همچنین با مدل‌های دیگر که ساختار هرمی دارند، مقایسه گردید.

این رویکرد ترکیبی از تحلیل نظری، طراحی معماری خلاقانه و ارزیابی تجربی دقیق، اساس روش‌شناسی این پژوهش را تشکیل می‌دهد.

این مقاله به چندین یافته کلیدی دست یافته است که درک ما را از نحوه عملکرد ترانسفورمرها در بینایی کامپیوتر و چگونگی بهبود آن‌ها متحول می‌سازد:

• اهمیت سوگیری القایی (IB) برای ترانسفورمرها: یافته اصلی این است که اضافه کردن سوگیری القایی، که به طور ذاتی در CNNها وجود دارد، به ترانسفورمرها کمک می‌کند تا الگوهای فضایی را بهتر درک کنند. این امر به ویژه در وظایف بینایی کامپیوتر که نیازمند درک ساختارهای مکانی و روابط بین پیکسل‌ها هستند، حیاتی است.
• نقش داده‌های بسامد بالا: این تحقیق نشان می‌دهد که اضافه کردن IB باعث افزایش سهم داده‌های فرکانس بالا در هر لایه ترانسفورمر می‌شود. این بدان معناست که مدل شروع به “توجه” بیشتر به جزئیات ریز، لبه‌ها، و الگوهای پیچیده در تصاویر می‌کند. این تمرکز بر فرکانس‌های بالا، به مدل امکان می‌دهد تا اطلاعات غنی‌تر و متنوع‌تری را استخراج کند.
• “توجه” به اطلاعات متنوع‌تر: وقتی هدها (Attention Heads) در ترانسفورمر به داده‌های بسامد بالای بیشتری توجه می‌کنند، قادر به درک روابط پیچیده‌تر و تشخیص الگوهای ظریف‌تر می‌شوند. این تنوع در اطلاعات دریافتی، به طور مستقیم منجر به عملکرد بهتر مدل در وظایف مختلف بینایی مانند طبقه‌بندی تصویر می‌شود.
• مشکل ساختار هرمی: نویسندگان به درستی اشاره می‌کنند که ساختارهای هرمی که معمولاً برای ادغام IB در ترانسفورمرها استفاده می‌شوند، نه تنها پیچیدگی مدل را افزایش می‌دهند، بلکه باعث از بین رفتن یکپارچگی بین معماری‌های NLP و CV می‌شوند. این یک نقطه ضعف مهم در رویکردهای قبلی بوده است.
• اثربخشی LSRA در NLP: مطالعه LSRA نشان داد که می‌توان IB را بدون نیاز به ساختار هرمی و با موفقیت به مدل اضافه کرد. این ایده، مسیر را برای طراحی EIT هموار کرد.
• نوآوری EIT: معماری EIT با موفقیت توانست سوگیری القایی را به روشی کارآمد و “بسامد-کامل” به ViT اضافه کند. استفاده از یک ساختار کانولوشنی کاهشی، به ویژه در مراحل اولیه پردازش، راه حلی هوشمندانه برای استخراج ویژگی‌های مفید از ابتدا است.
• نتایج تجربی قوی: EIT در آزمایش‌ها بر روی ImageNet-1K، عملکردی برابر با بهترین روش‌های موجود (SOTA) از خود نشان داد و در مقایسه با مدل‌های هم‌اندازه بدون ساختار هرمی، به نتایج SOTA دست یافت. این نشان‌دهنده کارایی و اثربخشی واقعی EIT است.

یافته‌های این مقاله کاربردهای گسترده‌ای در حوزه هوش مصنوعی و بینایی کامپیوتر دارد و دستاوردهای مهمی را به ارمغان می‌آورد:

• ارتقاء مدل‌های بینایی کامپیوتر: مهمترین دستاورد، ارائه یک چارچوب و معماری جدید (EIT) است که می‌تواند مدل‌های مبتنی بر ترانسفورمر را برای وظایف بینایی کارآمدتر و دقیق‌تر سازد. این امر به ویژه برای کاربردهایی که نیاز به درک دقیق جزئیات بصری دارند، مانند تشخیص اشیاء، بخش‌بندی تصاویر، و تحلیل پزشکی، بسیار حیاتی است.
• یکپارچگی مدل‌های NLP و CV: با حذف نیاز به ساختار هرمی، این تحقیق به سمت یکپارچگی بیشتر مدل‌ها در حوزه‌های مختلف هوش مصنوعی گام برمی‌دارد. این امر می‌تواند به توسعه مدل‌های چندوجهی (Multimodal) که قادر به پردازش همزمان متن و تصویر هستند، کمک شایانی کند.
• مدل‌های کارآمدتر: EIT با تمرکز بر معرفی کارآمد IB، نه تنها عملکرد را بهبود می‌بخشد، بلکه می‌تواند به کاهش هزینه‌های محاسباتی و حافظه مورد نیاز برای آموزش و اجرای مدل‌های ترانسفورمر کمک کند. این موضوع برای استقرار مدل‌ها در دستگاه‌های با منابع محدود (مانند موبایل‌ها) حائز اهمیت است.
• درک عمیق‌تر از Attention: این مقاله نور تازه‌ای بر نحوه عملکرد مکانیزم Attention در ترانسفورمرها می‌تاباند و نشان می‌دهد که چگونه تنظیم توزیع اطلاعات فرکانسی می‌تواند به بهبود “توجه” مدل به جزئیات مهم منجر شود. این درک، زمینه را برای طراحی مکانیزم‌های Attention نوآورانه‌تر فراهم می‌کند.
• مبانی برای تحقیقات آینده: یافته‌های مربوط به “تشنگی” ترانسفورمرها به داده‌های بسامد-کامل، می‌تواند الهام‌بخش پژوهشگران برای کاوش روش‌های دیگر برای گنجاندن اطلاعات فرکانسی در مدل‌های یادگیری عمیق باشد.

به عنوان یک مثال عملی، تصور کنید در حال توسعه سیستمی برای تشخیص بیماری‌های چشمی از روی تصاویر شبکیه چشم هستیم. در این مورد، تشخیص جزئیات بسیار ریز مانند تغییرات رنگ، رگ‌های خونی کوچک، یا نقاط آسیب‌دیده بسیار حیاتی است. مدل‌های ترانسفورمری که با استفاده از EIT یا رویکردهای مشابه، به خوبی بر داده‌های بسامد بالا تمرکز می‌کنند، قادر خواهند بود این جزئیات ظریف را با دقت بیشتری تشخیص داده و به تشخیص سریع‌تر و دقیق‌تر بیماری کمک کنند.

مقاله “Deep Transformers Thirst for Comprehensive-Frequency Data” یک گام مهم در جهت ارتقاء معماری ترانسفورمر برای کاربردهای بینایی کامپیوتر برمی‌دارد. با تأکید بر اهمیت سوگیری القایی و نقش کلیدی داده‌های بسامد بالا در بهبود عملکرد، نویسندگان موفق شده‌اند که راهکاری نوآورانه و عملی به نام EIT را معرفی کنند. EIT با غلبه بر محدودیت‌های مدل‌های ترانسفورمر سنتی، به ویژه نیاز به ساختارهای پیچیده هرمی، راه را برای توسعه مدل‌های بینایی کارآمدتر، یکپارچه‌تر و با قابلیت‌های پیشرفته‌تر هموار می‌سازد.

این تحقیق نشان می‌دهد که ترانسفورمرها، همانطور که در NLP قدرتمند ظاهر شده‌اند، پتانسیل بسیار بالایی در بینایی کامپیوتر نیز دارند، به شرطی که با رویکردی هوشمندانه، داده‌های مورد نیاز خود را به صورت “کامل” دریافت کنند. تمرکز بر استخراج و پردازش مؤثر اطلاعات بسامد بالا، کلید اصلی در این راستا است. با توجه به نتایج درخشان EIT بر روی ImageNet-1K، انتظار می‌رود این معماری و ایده‌های پشت آن، تأثیر قابل توجهی بر تحقیقات و توسعه‌های آتی در حوزه بینایی کامپیوتر و یادگیری ماشین داشته باشند.