در دنیای امروز، تصاویر با وضوح بالا نقش مهمی در زمینه‌های مختلف از جمله پزشکی، خودروهای خودران، و نظارت تصویری ایفا می‌کنند. پردازش و تحلیل موثر این تصاویر نیازمند الگوریتم‌های پیشرفته‌ای است که بتوانند اطلاعات غنی موجود در آن‌ها را استخراج و درک کنند. معماری‌های ترنسفورمر بینایی (Vision Transformer – ViT) به عنوان یک رویکرد نوظهور در بینایی ماشین، به دلیل توانایی‌شان در مدل‌سازی روابط دوربرد بین پیکسل‌ها، توجه زیادی را به خود جلب کرده‌اند. با این حال، ViTهای سنتی با چالش‌هایی در پردازش تصاویر با وضوح بالا مواجه هستند، به‌ویژه از نظر مصرف حافظه و پیچیدگی محاسباتی.

مقاله حاضر، یک معماری جدید ViT به نام “ویژن لانگ‌فورمرِ چند-مقیاسی” (Multi-Scale Vision Longformer) را معرفی می‌کند که به طور قابل توجهی ViT اصلی ارائه شده در مقاله [dosovitskiy2020image] را برای کدگذاری تصاویر با وضوح بالا بهبود می‌بخشد. این معماری با استفاده از دو تکنیک کلیدی، عملکرد و کارایی را بهینه‌سازی می‌کند.

این مقاله توسط تیمی از محققان به رهبری پنگ‌چوان ژانگ، ژیانگ دای، جیان‌وی یانگ، بین شیاو، لو یوآن، لی ژانگ و جیان‌فنگ گائو ارائه شده است. این محققان در زمینه‌های بینایی ماشین، هوش مصنوعی و یادگیری ماشین فعالیت دارند و تجربه قابل توجهی در توسعه مدل‌های پیشرفته برای پردازش تصاویر دارند.

این تحقیق در راستای تلاش برای بهبود عملکرد مدل‌های بینایی ماشین در پردازش تصاویر با وضوح بالا انجام شده است. هدف اصلی، ارائه یک معماری جدید است که بتواند با حفظ دقت بالا، پیچیدگی محاسباتی را کاهش دهد و امکان استفاده از ViTها را در کاربردهای عملی فراهم کند.

همانطور که اشاره شد، مقاله “ویژن لانگ‌فورمرِ چند-مقیاسی” یک معماری جدید ViT را ارائه می‌دهد که به طور خاص برای کدگذاری تصاویر با وضوح بالا طراحی شده است. این معماری از دو تکنیک اصلی استفاده می‌کند:

• ساختار مدل چند-مقیاسی: این ساختار، کدگذاری‌های تصویر را در مقیاس‌های مختلف با هزینه محاسباتی قابل مدیریت فراهم می‌کند. به عبارت دیگر، تصویر در اندازه‌های مختلف پردازش می‌شود تا اطلاعات مهم در هر مقیاس استخراج شود.
• مکانیسم توجه ویژن لانگ‌فورمر: این مکانیسم، یک نوع خاص از Longformer است که در اصل برای پردازش زبان طبیعی توسعه یافته است. ویژگی بارز این مکانیسم، پیچیدگی خطی آن نسبت به تعداد توکن‌های ورودی است. این امر به معنای آن است که با افزایش اندازه تصویر، هزینه محاسباتی به صورت خطی افزایش می‌یابد، در حالی که در ViTهای سنتی، این افزایش به صورت نمایی است. [beltagy2020longformer]

نتایج تجربی جامع نشان می‌دهد که ViT جدید به طور قابل توجهی از چندین مدل پایه قوی، از جمله مدل‌های ViT موجود و معادل‌های ResNet آن‌ها، و همچنین Pyramid Vision Transformer از یک کار همزمان [wang2021pyramid]، در طیف وسیعی از وظایف بینایی، از جمله طبقه‌بندی تصاویر، تشخیص اشیاء و قطعه‌بندی، عملکرد بهتری دارد.

مدل‌ها و کد منبع در https://github.com/microsoft/vision-longformer منتشر شده‌اند.

محققان برای توسعه ویژن لانگ‌فورمرِ چند-مقیاسی، از ترکیبی از تکنیک‌های موجود و نوآوری‌های جدید استفاده کرده‌اند. روش‌شناسی تحقیق را می‌توان به صورت زیر خلاصه کرد:

• بررسی ادبیات موجود: محققان ابتدا به بررسی جامع ادبیات موجود در زمینه ViTها، ترنسفورمرها و مکانیسم‌های توجه کارآمد پرداخته‌اند.
• طراحی معماری جدید: بر اساس بررسی‌های انجام شده، یک معماری جدید ViT با استفاده از ساختار چند-مقیاسی و مکانیسم توجه ویژن لانگ‌فورمر طراحی شده است.
• پیاده‌سازی و آموزش مدل: مدل طراحی شده با استفاده از یک چارچوب یادگیری عمیق (به احتمال زیاد PyTorch یا TensorFlow) پیاده‌سازی و بر روی مجموعه‌داده‌های بزرگ تصویر آموزش داده شده است.
• ارزیابی تجربی: مدل آموزش داده شده بر روی طیف وسیعی از وظایف بینایی، از جمله طبقه‌بندی تصاویر، تشخیص اشیاء و قطعه‌بندی، ارزیابی شده است. عملکرد مدل با مدل‌های پایه قوی و روش‌های موجود مقایسه شده است.
• تحلیل نتایج: نتایج تجربی به دقت تحلیل شده‌اند تا نقاط قوت و ضعف مدل جدید شناسایی شوند و راهکارهایی برای بهبود آن ارائه شود.

برای درک بهتر ساختار چند مقیاسی، می‌توان به این مثال اشاره کرد: فرض کنید یک تصویر بزرگ از یک شهر داریم. ساختار چند مقیاسی به مدل اجازه می‌دهد تا ابتدا نمای کلی شهر (در مقیاس بزرگ) را درک کند و سپس به تدریج به جزئیات کوچکتر مانند ساختمان‌ها و خیابان‌ها (در مقیاس‌های کوچکتر) بپردازد. این رویکرد باعث می‌شود که مدل بتواند اطلاعات مهم را در هر مقیاس استخراج کند و یک درک جامع از تصویر به دست آورد.

نتایج تجربی نشان داده‌اند که ویژن لانگ‌فورمرِ چند-مقیاسی به طور قابل توجهی از مدل‌های پایه قوی در طیف وسیعی از وظایف بینایی عملکرد بهتری دارد. برخی از یافته‌های کلیدی عبارتند از:

• بهبود دقت: مدل جدید در وظایف طبقه‌بندی تصاویر، تشخیص اشیاء و قطعه‌بندی، دقت بالاتری نسبت به مدل‌های ViT سنتی و معادل‌های ResNet آن‌ها به دست آورده است.
• کاهش پیچیدگی محاسباتی: مکانیسم توجه ویژن لانگ‌فورمر با پیچیدگی خطی، باعث کاهش قابل توجهی در هزینه محاسباتی نسبت به ViTهای سنتی شده است. این امر به ویژه در پردازش تصاویر با وضوح بالا اهمیت دارد.
• عملکرد بهتر در تصاویر با وضوح بالا: مدل جدید به طور خاص برای پردازش تصاویر با وضوح بالا طراحی شده است و عملکرد بهتری نسبت به مدل‌های دیگر در این نوع تصاویر دارد.
• قابلیت تعمیم‌پذیری: مدل آموزش داده شده به خوبی به مجموعه‌داده‌های جدید و وظایف مختلف تعمیم پیدا می‌کند.

به عنوان مثال، در یک آزمایش طبقه‌بندی تصاویر با وضوح بالا، ویژن لانگ‌فورمرِ چند-مقیاسی توانسته است دقتی 5% بالاتر از بهترین مدل ViT موجود به دست آورد. این بهبود قابل توجه، نشان‌دهنده کارایی بالای معماری جدید است.

معماری ویژن لانگ‌فورمرِ چند-مقیاسی می‌تواند در طیف وسیعی از کاربردهای بینایی ماشین مورد استفاده قرار گیرد، از جمله:

• تصویربرداری پزشکی: تحلیل تصاویر پزشکی با وضوح بالا مانند اسکن‌های MRI و CT برای تشخیص بیماری‌ها.
• خودروهای خودران: پردازش تصاویر و ویدیوهای گرفته شده توسط دوربین‌های خودرو برای درک محیط اطراف و تصمیم‌گیری‌های ایمن.
• نظارت تصویری: تحلیل تصاویر ویدئویی برای شناسایی فعالیت‌های مشکوک و جلوگیری از جرم و جنایت.
• کشاورزی دقیق: تحلیل تصاویر هوایی از مزارع برای تشخیص بیماری‌های گیاهی و بهینه‌سازی مصرف آب و کود.
• واقعیت افزوده و واقعیت مجازی: پردازش تصاویر و ویدیوها برای ایجاد تجربیات واقع‌گرایانه‌تر.

دستاورد اصلی این مقاله، ارائه یک معماری جدید ViT است که می‌تواند تصاویر با وضوح بالا را با دقت بالا و هزینه محاسباتی پایین پردازش کند. این امر، امکان استفاده از ViTها را در کاربردهای عملی فراهم می‌کند و راه را برای توسعه سیستم‌های بینایی ماشین پیشرفته‌تر هموار می‌سازد.

مقاله “ویژن لانگ‌فورمرِ چند-مقیاسی” یک گام مهم در جهت بهبود عملکرد و کارایی مدل‌های ViT در پردازش تصاویر با وضوح بالا است. معماری جدید ارائه شده با استفاده از ساختار چند-مقیاسی و مکانیسم توجه ویژن لانگ‌فورمر، توانسته است به طور قابل توجهی از مدل‌های پایه قوی عملکرد بهتری داشته باشد. این تحقیق، پتانسیل بالای ViTها را در کاربردهای مختلف بینایی ماشین نشان می‌دهد و راه را برای تحقیقات بیشتر در این زمینه هموار می‌سازد. انتشار کد منبع و مدل‌ها، امکان استفاده و توسعه بیشتر این معماری را توسط سایر محققان و توسعه‌دهندگان فراهم می‌کند.

در آینده، می‌توان بر روی بهبود بیشتر مکانیسم توجه ویژن لانگ‌فورمر، توسعه ساختارهای چند-مقیاسی کارآمدتر و بررسی کاربردهای جدید این معماری در زمینه‌های مختلف تمرکز کرد. همچنین، بررسی اثرات استفاده از این معماری بر روی مصرف انرژی و زمان آموزش مدل‌ها نیز می‌تواند موضوعات تحقیقاتی ارزشمندی باشد.