معرفی مقاله و اهمیت آن

در سال‌های اخیر، حوزه بینایی ماشین شاهد تحولات چشمگیری بوده است. با ظهور معماری ترنسفورمرهای بینایی (Vision Transformer – ViT)، رویکردهای طراحی معماری شبکه‌های عصبی عمیق به سرعت دگرگون شده‌اند. ViT با بهره‌گیری از مکانیسم خودتوجهی (self-attention) که پیش‌تر در پردازش زبان طبیعی موفقیت‌های چشمگیری کسب کرده بود، به عملکردی در سطح هنری در طبقه‌بندی تصاویر دست یافت. پس از آن، معماری‌هایی نظیر MLP-Mixer نشان دادند که حتی با استفاده از پرسپترون‌های چندلایه ساده نیز می‌توان به عملکردی رقابتی دست یافت.

در مقابل این پیشرفت‌ها، مطالعات متعددی نیز مطرح کرده‌اند که شبکه‌های عصبی کانولوشنی (CNNs) که با دقت و هوشمندی بازطراحی شده‌اند، می‌توانند بدون نیاز به ایده‌های جدید ترنسفورمرها، به عملکردی مشابه یا حتی بهتر از ViT دست پیدا کنند. این تقابل و رقابت، علاقه فزاینده‌ای را به این سوال کلیدی ایجاد کرده است که کدام بایاس استقرایی (inductive bias) برای بینایی ماشین مناسب‌تر است؟ آیا ماهیت تصاویر که شامل اطلاعات مکانی و محلی است، نیازمند معماری‌های خاص خود است یا رویکردهای عمومی‌تر نیز می‌توانند کارآمد باشند؟

مقاله “سکوئنسر: LSTM عمیق برای طبقه‌بندی تصاویر” به قلم یوکی تاتسونامی و ماساتو تاکی، در این بستر چالش‌برانگیز، یک معماری نوین و رقیب برای ViT پیشنهاد می‌کند که دیدگاه جدیدی را به این مسائل ارائه می‌دهد. این مقاله با معرفی Sequencer، نه تنها یک رویکرد جایگزین را معرفی می‌کند، بلکه با استفاده از شبکه‌های حافظه بلندمدت کوتاه (LSTM) به جای مکانیسم خودتوجهی، مسیر جدیدی را برای مدل‌سازی وابستگی‌های دوربرد در تصاویر می‌گشاید و اهمیت آن در ارائه تنوع معماری و به چالش کشیدن پارادایم‌های رایج است.

نویسندگان و زمینه تحقیق

این تحقیق توسط یوکی تاتسونامی و ماساتو تاکی انجام شده است. این دو محقق با ارائه معماری Sequencer، سهم قابل توجهی در گسترش افق‌های پژوهشی در زمینه بینایی ماشین و یادگیری عمیق داشته‌اند.

زمینه تحقیق این مقاله به طور خاص در مرز بین بینایی کامپیوتری و تشخیص الگو (Computer Vision and Pattern Recognition)، هوش مصنوعی (Artificial Intelligence) و یادگیری ماشین (Machine Learning) قرار می‌گیرد. در سال‌های اخیر، تلاش‌های بسیاری برای یافتن بهترین معماری برای انجام وظایف بینایی ماشین، به ویژه طبقه‌بندی تصاویر، صورت گرفته است. این تلاش‌ها شامل کاوش در شبکه‌های کانولوشنی عمیق‌تر، معماری‌های مبتنی بر ترنسفورمر، و حتی مدل‌های ساده‌تر مانند MLP-Mixer می‌شود.

تاتسونامی و تاکی با این اثر، به بحث جاری درباره بایاس استقرایی مناسب برای بینایی ماشین می‌پیوندند و یک مسیر کمتر کاوش‌شده – استفاده از شبکه‌های بازگشتی مانند LSTM – را به عنوان یک جایگزین قدرتمند برای مکانیسم‌های خودتوجهی و کانولوشن‌ها معرفی می‌کنند. کار آن‌ها نه تنها یک مدل با عملکرد بالا را ارائه می‌دهد، بلکه رویکردی نوآورانه را برای مدل‌سازی وابستگی‌های فضایی طولانی‌مدت در داده‌های تصویری پیشنهاد می‌کند، که از لحاظ نظری و عملی دارای اهمیت فراوانی است.

چکیده و خلاصه محتوا

این مقاله به بررسی یکی از چالش‌برانگیزترین سوالات در بینایی ماشین معاصر می‌پردازد: کدام بایاس استقرایی برای پردازش تصاویر بهینه است؟ در حالی که معماری‌های ViT و MLP-Mixer مسیرهای جدیدی را با خودتوجهی و پرسپترون‌های ساده گشوده‌اند، و CNNهای بازطراحی‌شده نیز عملکرد رقابتی از خود نشان داده‌اند، نویسندگان در این مقاله یک معماری بدیع به نام Sequencer را معرفی می‌کنند.

برخلاف ViT که برای مدل‌سازی وابستگی‌های دوربرد از لایه‌های خودتوجهی استفاده می‌کند، Sequencer این کار را با بهره‌گیری از شبکه‌های حافظه بلندمدت کوتاه (LSTMs) انجام می‌دهد. این یک تغییر پارادایم مهم است، زیرا LSTMs به طور سنتی برای داده‌های توالی‌مانند (مانند متن یا سری‌های زمانی) به کار می‌روند، اما اینجا برای پردازش داده‌های تصویری تطبیق داده شده‌اند.

یکی از نوآوری‌های کلیدی این مقاله، پیشنهاد نسخه دوبعدی ماژول Sequencer است. در این نسخه، یک LSTM واحد به LSTMs عمودی و افقی تجزیه می‌شود. این تجزیه به مدل امکان می‌دهد تا اطلاعات فضایی را هم در جهت افقی و هم در جهت عمودی با دقت بیشتری پردازش کند و در نتیجه عملکرد کلی را افزایش دهد. این رویکرد به ویژه در درک ساختارهای محلی و جهانی تصویر به طور همزمان مؤثر است.

علی‌رغم سادگی ظاهری، آزمایش‌های متعدد نشان می‌دهند که Sequencer عملکرد بسیار قابل توجهی دارد. به عنوان مثال، مدل Sequencer2D-L با ۵۴ میلیون پارامتر، به دقت ۸۴.۶% (top-1) در مجموعه داده ImageNet-1K دست یافته است. این نتیجه نه تنها توانایی این معماری را در رقابت با مدل‌های پیشرو اثبات می‌کند، بلکه نشان می‌دهد که LSTMs می‌توانند جایگزینی قدرتمند برای مکانیسم خودتوجهی در بینایی ماشین باشند.

علاوه بر این، نویسندگان نشان می‌دهند که Sequencer از قابلیت انتقال‌پذیری (transferability) خوبی برخوردار است، به این معنی که مدل آموزش‌دیده روی یک مجموعه داده می‌تواند با موفقیت به وظایف و مجموعه داده‌های دیگر تعمیم یابد. همچنین، این معماری قابلیت انطباق‌پذیری قدرتمندی با وضوح تصویر (robust resolution adaptability) در باندهای وضوح دوبرابر از خود نشان می‌دهد، که یک ویژگی بسیار مهم برای کاربردهای عملی است که در آن تصاویر ممکن است با وضوح‌های مختلفی مواجه شوند.

روش‌شناسی تحقیق

روش‌شناسی تحقیق در مقاله “سکوئنسر” بر پایه یک ایده محوری استوار است: جایگزینی مکانیسم خودتوجهی در ترنسفورمرهای بینایی با شبکه‌های LSTM. در هسته این رویکرد، درک این موضوع است که چگونه می‌توان یک تصویر دوبعدی را به توالی‌هایی تبدیل کرد که LSTMs قادر به پردازش آن‌ها باشند، و در عین حال اطلاعات فضایی مهم را حفظ کرد.

• استفاده از LSTMs برای وابستگی‌های دوربرد: معماری Sequencer، همانند ViT، ابتدا تصویر ورودی را به پچ‌های کوچکتر تقسیم می‌کند. سپس، این پچ‌ها به صورت خطی تعبیه شده و به عنوان ورودی به لایه‌هایی از Sequencer تغذیه می‌شوند. تفاوت اساسی در اینجاست که به جای استفاده از لایه‌های خودتوجهی برای مدل‌سازی ارتباطات بین این پچ‌ها، از LSTMs استفاده می‌شود. LSTMs به دلیل توانایی ذاتی خود در مدل‌سازی وابستگی‌های طولانی‌مدت در داده‌های توالی‌مانند، کاندیدای مناسبی برای این کار هستند. در Sequencer، پچ‌ها به عنوان یک توالی پردازش می‌شوند و LSTM قادر است اطلاعات را در طول این توالی حفظ و به روزرسانی کند، که این امر به مدل‌سازی روابط بین بخش‌های دور از هم تصویر کمک می‌کند.

• ماژول Sequencer2D: یکی از نوآوری‌های اصلی در این مقاله، معرفی ماژول Sequencer2D است. تصاویر ماهیتی دوبعدی دارند و پردازش آن‌ها به صورت یک توالی خطی ممکن است برخی از اطلاعات مکانی حیاتی را نادیده بگیرد. برای غلبه بر این چالش، نویسندگان پیشنهاد می‌کنند که LSTM را به دو جزء عمودی (vertical) و افقی (horizontal) تجزیه کنند. در Sequencer2D:

  • ابتدا، پچ‌های تصویر (یا ویژگی‌های استخراج شده از آن‌ها) به صورت افقی (ردیف به ردیف) به یک LSTM افقی تغذیه می‌شوند. این LSTM وابستگی‌های بین پچ‌ها را در امتداد هر ردیف مدل می‌کند.

  • سپس، خروجی‌های این مرحله، به عنوان ورودی به یک LSTM عمودی تغذیه می‌شوند که وابستگی‌های بین پچ‌ها را در امتداد هر ستون مدل می‌کند. این فرآیند به مدل امکان می‌دهد تا اطلاعات مکانی را هم در بعد افقی و هم در بعد عمودی به طور مؤثر جذب کند، که منجر به درک جامع‌تری از ساختار تصویر می‌شود.

  این تجزیه LSTM به دو جهت، از پیچیدگی محاسباتی یک LSTM دوبعدی کامل می‌کاهد و در عین حال قابلیت مدل‌سازی فضایی قوی را حفظ می‌کند. این رویکرد از ایده فاکتورسازی (factorization) در عملیات‌های کانولوشنی (مانند کانولوشن‌های ۱xN و Nx1) الهام گرفته شده است.

• معماری کلی: معماری کلی Sequencer شامل چندین بلوک Sequencer2D است که به صورت پشته‌ای روی هم قرار گرفته‌اند، مشابه با بلوک‌های ترنسفورمر در ViT. این بلوک‌ها با لایه‌های نرمال‌سازی و توابع فعال‌سازی ترکیب می‌شوند تا یک شبکه عمیق برای استخراج ویژگی‌های سلسله‌مراتبی ایجاد کنند. در نهایت، یک لایه طبقه‌بندی (معمولاً یک لایه خطی) برای پیش‌بینی کلاس تصویر نهایی استفاده می‌شود.

• آموزش و ارزیابی: مدل‌ها بر روی مجموعه داده استاندارد ImageNet-1K آموزش داده شده‌اند که شامل بیش از یک میلیون تصویر و ۱۰۰۰ کلاس مختلف است. برای آموزش، از روش‌های بهینه‌سازی استاندارد یادگیری عمیق و تکنیک‌های افزایش داده استفاده شده است. ارزیابی عملکرد نیز با معیارهای استاندارد مانند دقت top-1 انجام گرفته است.

این روش‌شناسی نه تنها یک معماری کارآمد را ارائه می‌دهد، بلکه دیدگاه جدیدی را در مورد قابلیت‌های LSTMs در وظایف بینایی ماشین می‌گشاید و به بحث‌های جاری در مورد بایاس استقرایی در مدل‌های بینایی کمک می‌کند.

یافته‌های کلیدی

تحقیقات مربوط به Sequencer نتایج بسیار امیدوارکننده‌ای را به همراه داشته است که قابلیت و اثربخشی این معماری نوین را به وضوح نشان می‌دهد. مهمترین یافته‌های کلیدی این مقاله عبارتند از:

• عملکرد چشمگیر در طبقه‌بندی تصاویر: مدل Sequencer2D-L، که یکی از بزرگترین نسخه‌های پیشنهادی است و دارای ۵۴ میلیون پارامتر می‌باشد، به دقت ۸۴.۶% (top-1) بر روی مجموعه داده بزرگ و چالش‌برانگیز ImageNet-1K دست یافته است. این دستاورد، Sequencer را در رده مدل‌های پیشرو برای طبقه‌بندی تصاویر قرار می‌دهد و نشان می‌دهد که LSTMs می‌توانند به طور مؤثر برای این وظیفه به کار گرفته شوند.

• سادگی معماری: یکی از نقاط قوت Sequencer، سادگی نسبی آن در مقایسه با برخی از معماری‌های پیچیده ViT است که نیازمند مکانیسم‌های خودتوجهی چندسره و محاسبات ماتریس‌های بزرگ هستند. استفاده از LSTMs، به ویژه در نسخه دو بعدی تجزیه شده، یک رویکرد تمیز و منطقی برای مدل‌سازی وابستگی‌های فضایی ارائه می‌دهد.

• قابلیت انتقال‌پذیری بالا (Good Transferability): نتایج آزمایش‌ها نشان داده‌اند که مدل‌های Sequencer آموزش‌دیده بر روی ImageNet-1K، هنگام انتقال به مجموعه داده‌ها و وظایف دیگر، عملکرد خوبی از خود نشان می‌دهند. این قابلیت انتقال‌پذیری، برای مدل‌های یادگیری عمیق بسیار حیاتی است، زیرا امکان استفاده از آن‌ها را در سناریوهای مختلف و با داده‌های محدودتر فراهم می‌آورد و از نیاز به آموزش از ابتدا در هر کاربرد جلوگیری می‌کند.

• انطباق‌پذیری قوی با وضوح تصویر (Robust Resolution Adaptability): Sequencer توانایی برجسته‌ای در انطباق با وضوح‌های مختلف تصویر، به ویژه در باندهای وضوح دوبرابر، از خود نشان می‌دهد. این ویژگی برای کاربردهای عملی که در آن‌ها تصاویر ورودی ممکن است با اندازه‌ها و وضوح‌های متفاوتی عرضه شوند، بسیار مهم است. این بدان معناست که مدل می‌تواند بدون نیاز به آموزش مجدد یا تنظیمات پیچیده، با تصاویر با وضوح‌های متفاوت به خوبی کار کند.

• اثبات جایگزین بودن LSTMs برای خودتوجهی در بینایی ماشین: این مقاله با موفقیت نشان می‌دهد که LSTMs، که اغلب در پردازش زبان طبیعی مورد استفاده قرار می‌گیرند، می‌توانند به طور مؤثر به عنوان جایگزینی برای لایه‌های خودتوجهی در معماری‌های بینایی ماشین برای مدل‌سازی وابستگی‌های دوربرد عمل کنند. این یافته، دیدگاه سنتی مبنی بر اینکه CNNها برای اطلاعات محلی و ترنسفورمرها برای اطلاعات جهانی مناسب‌ترند را به چالش می‌کشد و راه را برای کاوش بیشتر در استفاده از شبکه‌های بازگشتی در بینایی ماشین هموار می‌سازد.

به طور خلاصه، یافته‌های کلیدی Sequencer نه تنها یک معماری کارآمد و رقابتی را معرفی می‌کنند، بلکه به بحث گسترده‌تر در مورد بهترین بایاس استقرایی برای بینایی ماشین کمک می‌کنند و نشان می‌دهند که تنوع معماری می‌تواند به پیشرفت‌های مهمی در این زمینه منجر شود.

کاربردها و دستاوردها

معماری Sequencer و نتایج حاصل از آن، دستاوردها و کاربردهای بالقوه متعددی را در حوزه بینایی ماشین و یادگیری عمیق به ارمغان می‌آورد:

• طبقه‌بندی تصاویر پیشرفته: اصلی‌ترین کاربرد Sequencer، بهبود عملکرد در وظایف طبقه‌بندی تصاویر است. با دستیابی به دقت ۸۴.۶% (top-1) بر روی ImageNet-1K، Sequencer می‌تواند به عنوان یک مدل پایه قوی برای توسعه سیستم‌های طبقه‌بندی تصاویر در حوزه‌های مختلف مانند پزشکی (تشخیص بیماری‌ها از روی تصاویر)، کشاورزی (شناسایی آفات و بیماری‌های گیاهی)، امنیت (تشخیص چهره و اشیاء) و غیره مورد استفاده قرار گیرد.

• الهام‌بخش برای معماری‌های نوین: معرفی Sequencer به عنوان جایگزینی برای ViT و CNNها، نشان می‌دهد که فضای طراحی معماری‌های یادگیری عمیق هنوز بسیار گسترده است. این دستاورد می‌تواند محققان را تشویق کند تا به بررسی عمیق‌تر سایر انواع شبکه‌های عصبی (مانند شبکه‌های بازگشتی یا حتی مدل‌های گراف عصبی) در وظایف بینایی ماشین بپردازند و از محدود کردن خود به پارادایم‌های رایج اجتناب کنند. این امر به غنای تنوع معماری در یادگیری عمیق کمک شایانی می‌کند.

• مدل‌سازی کارآمد وابستگی‌های دوربرد: Sequencer نشان می‌دهد که LSTMs می‌توانند به طور مؤثر وابستگی‌های دوربرد را در تصاویر مدل‌سازی کنند. این قابلیت می‌تواند در وظایفی که نیاز به درک روابط بین بخش‌های دور از هم تصویر دارند، مانند تولید شرح تصویر (image captioning) یا پاسخ به سوالات بصری (visual question answering)، که در آن‌ها ارتباطات معنایی بین اشیاء و صحنه‌ها حیاتی است، بسیار مفید باشد.

• کاربرد در پردازش ویدئو: با توجه به ماهیت توالی‌پردازی LSTMs، معماری Sequencer ممکن است به طور طبیعی به وظایف پردازش ویدئو قابل تعمیم باشد. ویدئوها خود توالی‌هایی از فریم‌ها هستند و LSTMs می‌توانند وابستگی‌های زمانی و مکانی را در طول فریم‌ها مدل‌سازی کنند. این امر می‌تواند به پیشرفت در تشخیص فعالیت، ردیابی اشیاء، و پیش‌بینی حرکت در ویدئوها منجر شود.

• توسعه سیستم‌های بینایی با قابلیت انطباق بالا: ویژگی انطباق‌پذیری قوی با وضوح تصویر Sequencer، آن را برای استقرار در سناریوهای واقعی که در آن‌ها کیفیت و وضوح تصاویر ورودی ممکن است متغیر باشد، ایده‌آل می‌سازد. به عنوان مثال، در سیستم‌های نظارتی که دوربین‌ها با وضوح‌های مختلفی کار می‌کنند یا در اپلیکیشن‌های موبایل که تصاویر با اندازه‌های مختلفی گرفته می‌شوند، این مدل می‌تواند بدون نیاز به مدل‌های جداگانه یا پیش‌پردازش پیچیده، به خوبی عمل کند.

• بهبود کارایی محاسباتی: اگرچه پیچیدگی محاسباتی دقیق LSTMs در مقایسه با مکانیسم‌های خودتوجهی نیازمند تحلیل عمیق‌تری است، اما در برخی تنظیمات، LSTMs می‌توانند راهکارهای کارآمدتری برای مدل‌سازی توالی‌ها ارائه دهند. این امر می‌تواند به توسعه مدل‌های سبک‌تر و سریع‌تر برای کاربردهای لبه (edge computing) یا سیستم‌های با منابع محدود کمک کند.

به طور کلی، Sequencer نه تنها یک دستاورد فنی در زمینه طبقه‌بندی تصاویر است، بلکه به عنوان یک کاتالیزور برای تفکر جدید در طراحی معماری‌های یادگیری عمیق عمل می‌کند و پتانسیل‌های پنهان شبکه‌های بازگشتی را در حوزه بینایی ماشین آشکار می‌سازد.

نتیجه‌گیری

مقاله “سکوئنسر: LSTM عمیق برای طبقه‌بندی تصاویر” یک نقطه عطف مهم در پژوهش‌های بینایی ماشین معاصر به شمار می‌رود. در عصری که معماری‌های Vision Transformer (ViT) با مکانیسم خودتوجهی و شبکه‌های کانولوشنی (CNNs) با بایاس استقرایی محلی خود، صحنه را به دست گرفته‌اند، Sequencer با رویکردی متفاوت و نوآورانه، یک مسیر جدید را برای مدل‌سازی تصاویر می‌گشاید.

مهمترین سهم این مقاله، نمایش این حقیقت است که شبکه‌های حافظه بلندمدت کوتاه (LSTMs)، که اغلب در پردازش توالی‌های غیرتصویری کاربرد دارند، می‌توانند به طور مؤثر و رقابتی برای مدل‌سازی وابستگی‌های دوربرد در داده‌های تصویری به کار گرفته شوند. معرفی Sequencer2D، با تجزیه LSTM به مؤلفه‌های عمودی و افقی، نشان‌دهنده یک طراحی هوشمندانه است که از ماهیت دوبعدی تصاویر بهره می‌برد و در عین حال، از پیچیدگی محاسباتی می‌کاهد.

با دستیابی به دقت ۸۴.۶% (top-1) بر روی ImageNet-1K با تنها ۵۴ میلیون پارامتر در مدل Sequencer2D-L، این پژوهش اثبات می‌کند که LSTMs نه تنها یک جایگزین نظری، بلکه یک جایگزین عملی و کارآمد برای مکانیسم خودتوجهی در بینایی ماشین هستند. علاوه بر عملکرد برجسته، ویژگی‌هایی نظیر انتقال‌پذیری بالا و انطباق‌پذیری قوی با وضوح تصویر، ارزش عملی و پتانسیل کاربردی Sequencer را در سناریوهای دنیای واقعی به شدت افزایش می‌دهد.

در نهایت، Sequencer به بحث‌های جاری در مورد بایاس استقرایی مناسب برای بینایی ماشین کمک شایانی می‌کند. این مقاله نه تنها یک معماری با عملکرد بالا ارائه می‌دهد، بلکه محققان را تشویق می‌کند تا فراتر از پارادایم‌های غالب فکر کنند و به کاوش راه‌حل‌های متنوع‌تر و شاید ساده‌تر برای چالش‌های پیچیده بینایی ماشین بپردازند. پتانسیل این رویکرد در زمینه‌هایی مانند پردازش ویدئو و تولید محتوای بصری نیز بسیار امیدبخش است و مسیرهای جدیدی را برای تحقیقات آینده هموار می‌سازد.