در دنیای پیشرفته بینایی کامپیوتر، مدل‌سازی دقیق و کارآمد روابط بین اجزای مختلف یک تصویر، چالشی اساسی به شمار می‌رود. شبکه‌های عصبی کانولوشنی (Convolutional Neural Networks یا CNNs) به طور گسترده‌ای در این حوزه مورد استفاده قرار گرفته‌اند و در بسیاری از وظایف، عملکرد قابل قبولی ارائه داده‌اند. با این حال، CNNs در مدل‌سازی وابستگی‌های دوربرد (یعنی روابط بین پیکسل‌هایی که فاصله زیادی از یکدیگر دارند) با محدودیت‌هایی روبرو هستند. علت این محدودیت، ماهیت ذاتی عملگر کانولوشن است که به بررسی همسایگی‌های کوچک پیکسل‌ها می‌پردازد.

در مقابل، معماری ترنسفورمر (Transformer)، که در ابتدا برای پردازش زبان طبیعی (Natural Language Processing یا NLP) طراحی شده بود، به عنوان یک جایگزین قدرتمند ظهور کرده است. ترنسفورمرها از مکانیسم خود-توجهی سراسری (Global Self-Attention) بهره می‌برند که امکان مدل‌سازی وابستگی‌های دوربرد را به طور موثر فراهم می‌سازد. این ویژگی، ترنسفورمرها را به گزینه‌ای جذاب برای وظایفی تبدیل کرده است که در آن‌ها درک روابط گسترده بین اجزای یک تصویر اهمیت دارد.

مقاله حاضر با عنوان “شبکه‌های توجه مبتنی بر ترنسفورمر برای پیش‌بینی پیکسلی پیوسته”، رویکردی نوآورانه را برای ادغام مزایای شبکه‌های عصبی کانولوشنی و ترنسفورمرها ارائه می‌دهد. هدف از این ادغام، ایجاد یک معماری قدرتمند است که قادر به استخراج ویژگی‌های محلی با جزئیات بالا و درک وابستگی‌های دوربرد به طور همزمان باشد. این مقاله با معرفی معماری TransDepth، گامی مهم در جهت بهبود عملکرد مدل‌های بینایی کامپیوتر در وظایف پیش‌بینی پیکسلی پیوسته برداشته است.

مقاله TransDepth توسط گوآنگلی یانگ (Guanglei Yang)، هائو تانگ (Hao Tang)، مینگلی دینگ (Mingli Ding)، نیکو سبه (Nicu Sebe) و الیسا ریچی (Elisa Ricci) به رشته تحریر درآمده است. نویسندگان این مقاله، متخصصان برجسته در زمینه بینایی کامپیوتر و یادگیری ماشین هستند و سابقه درخشانی در ارائه راهکارهای نوآورانه برای چالش‌های موجود در این حوزه‌ها دارند.

زمینه تحقیقاتی این مقاله، تلفیق معماری‌های مختلف یادگیری عمیق، به ویژه شبکه‌های عصبی کانولوشنی و ترنسفورمرها، به منظور بهبود عملکرد در وظایف بینایی کامپیوتر است. این رویکرد ترکیبی، با هدف غلبه بر محدودیت‌های ذاتی هر یک از این معماری‌ها و بهره‌گیری از نقاط قوت آن‌ها، طراحی شده است. به طور خاص، مقاله TransDepth به کاربرد ترنسفورمرها در وظایف پیش‌بینی پیکسلی پیوسته، مانند تخمین عمق تک‌چشمی (Monocular Depth Prediction) و تخمین نرمال سطح (Surface Normal Estimation)، می‌پردازد. این وظایف، نیازمند درک دقیق ساختار سه بعدی صحنه و روابط بین اجزای مختلف آن هستند.

چکیده این مقاله به این صورت است: در حالی که شبکه‌های عصبی کانولوشنی تاثیر چشمگیری بر وظایف مختلف بینایی کامپیوتر داشته‌اند، به طور کلی در مدل‌سازی صریح وابستگی‌های دوربرد به دلیل ماهیت محلی ذاتی عملگر کانولوشن، محدودیت‌هایی از خود نشان می‌دهند. ترنسفورمرها، که در ابتدا برای وظایف پردازش زبان طبیعی طراحی شده‌اند، به عنوان معماری‌های جایگزین با مکانیسم‌های خود-توجهی سراسری ذاتی برای گرفتن وابستگی‌های دوربرد ظاهر شده‌اند. در این مقاله، ما TransDepth را پیشنهاد می‌کنیم، یک معماری که از مزایای هر دو شبکه عصبی کانولوشنی و ترنسفورمرها بهره می‌برد. برای جلوگیری از از دست دادن توانایی شبکه در گرفتن جزئیات سطح محلی به دلیل استفاده از ترنسفورمرها، یک رمزگشای جدید پیشنهاد می‌کنیم که از مکانیسم‌های توجهی مبتنی بر گیت (Gate) استفاده می‌کند. قابل توجه است که این اولین مقاله است که ترنسفورمرها را در مسائل پیش‌بینی پیکسلی که شامل برچسب‌های پیوسته می‌شوند (به عنوان مثال، پیش‌بینی عمق تک‌چشمی و تخمین نرمال سطح) اعمال می‌کند. آزمایش‌های گسترده نشان می‌دهد که TransDepth پیشنهادی، به عملکردی پیشرو در سه مجموعه داده چالش‌برانگیز دست می‌یابد. کد ما در آدرس https://github.com/ygjwd12345/TransDepth در دسترس است.

به طور خلاصه، مقاله TransDepth یک معماری جدید مبتنی بر ترنسفورمر برای وظایف پیش‌بینی پیکسلی پیوسته ارائه می‌دهد. این معماری، با ادغام شبکه‌های عصبی کانولوشنی و ترنسفورمرها، قادر به درک ویژگی‌های محلی و وابستگی‌های دوربرد به طور همزمان است. نویسندگان برای جلوگیری از کاهش دقت در استخراج ویژگی‌های محلی، یک رمزگشای مبتنی بر گیت را طراحی کرده‌اند که به شبکه اجازه می‌دهد تا با دقت بیشتری به جزئیات تصویر توجه کند. نتایج آزمایش‌ها نشان می‌دهد که TransDepth در مقایسه با روش‌های موجود، عملکرد بهتری در وظایفی مانند تخمین عمق تک‌چشمی و تخمین نرمال سطح ارائه می‌دهد.

روش‌شناسی تحقیق در این مقاله، ترکیبی از طراحی معماری جدید، پیاده‌سازی و آزمایش آن بر روی مجموعه‌داده‌های استاندارد است. نویسندگان ابتدا با بررسی نقاط قوت و ضعف شبکه‌های عصبی کانولوشنی و ترنسفورمرها، به این نتیجه رسیدند که ادغام این دو معماری می‌تواند منجر به بهبود عملکرد در وظایف پیش‌بینی پیکسلی پیوسته شود. بر این اساس، معماری TransDepth را طراحی کردند که از یک انکودر (Encoder) مبتنی بر CNN و یک رمزگشا (Decoder) مبتنی بر ترنسفورمر تشکیل شده است.

انکودر CNN وظیفه استخراج ویژگی‌های محلی از تصویر ورودی را بر عهده دارد. این ویژگی‌ها، سپس به رمزگشای ترنسفورمر منتقل می‌شوند تا وابستگی‌های دوربرد بین آن‌ها مدل‌سازی شوند. رمزگشای مبتنی بر گیت، که به طور خاص برای این مقاله طراحی شده است، نقش مهمی در حفظ دقت در استخراج ویژگی‌های محلی ایفا می‌کند. این رمزگشا، با استفاده از مکانیسم‌های توجهی، به شبکه اجازه می‌دهد تا به طور انتخابی به پیکسل‌های مهم‌تر توجه کند و از نادیده گرفتن جزئیات مهم جلوگیری کند.

نویسندگان پس از طراحی معماری TransDepth، آن را با استفاده از زبان برنامه‌نویسی پایتون و کتابخانه‌های یادگیری عمیق PyTorch پیاده‌سازی کردند. سپس، مدل را بر روی سه مجموعه داده چالش‌برانگیز آزمایش کردند: KITTI، NYU Depth V2 و Cityscapes. نتایج آزمایش‌ها با استفاده از معیارهای ارزیابی استاندارد در این حوزه‌ها، مانند Root Mean Squared Error (RMSE) و Mean Absolute Error (MAE)، مورد ارزیابی قرار گرفتند. این ارزیابی‌ها نشان دادند که TransDepth در مقایسه با روش‌های موجود، عملکرد بهتری ارائه می‌دهد.

یافته‌های کلیدی این مقاله را می‌توان به شرح زیر خلاصه کرد:

• معماری TransDepth، با ادغام شبکه‌های عصبی کانولوشنی و ترنسفورمرها، قادر به استخراج ویژگی‌های محلی با جزئیات بالا و مدل‌سازی وابستگی‌های دوربرد به طور همزمان است.
• رمزگشای مبتنی بر گیت، نقش مهمی در حفظ دقت در استخراج ویژگی‌های محلی ایفا می‌کند و از کاهش عملکرد شبکه به دلیل استفاده از ترنسفورمرها جلوگیری می‌کند.
• TransDepth در مقایسه با روش‌های موجود، عملکرد بهتری در وظایفی مانند تخمین عمق تک‌چشمی و تخمین نرمال سطح ارائه می‌دهد.
• نتایج آزمایش‌ها نشان می‌دهد که TransDepth در سه مجموعه داده چالش‌برانگیز KITTI، NYU Depth V2 و Cityscapes، به عملکردی پیشرو دست می‌یابد.

به عنوان مثال، در مجموعه داده KITTI، TransDepth توانست مقدار RMSE را به طور قابل توجهی کاهش دهد که نشان‌دهنده بهبود دقت در تخمین عمق است.

معماری TransDepth و روش‌های مشابه آن، کاربردهای گسترده‌ای در زمینه‌های مختلف دارند، از جمله:

• خودران‌ها: تخمین دقیق عمق و درک ساختار سه بعدی صحنه، برای ناوبری ایمن و کارآمد خودروهای خودران ضروری است.
• رباتیک: ربات‌ها برای تعامل با محیط اطراف خود، نیاز به درک دقیق عمق و نرمال سطح اشیاء دارند.
• واقعیت افزوده (AR) و واقعیت مجازی (VR): تخمین دقیق عمق، امکان ایجاد تجربه‌های واقع‌گرایانه و تعاملی را در محیط‌های AR/VR فراهم می‌کند.
• تصویربرداری پزشکی: تخمین دقیق عمق و نرمال سطح می‌تواند در تحلیل تصاویر پزشکی و تشخیص بیماری‌ها کمک کند.

دستاوردهای این مقاله عبارتند از:

• معرفی یک معماری جدید مبتنی بر ترنسفورمر برای وظایف پیش‌بینی پیکسلی پیوسته.
• ارائه یک رمزگشای مبتنی بر گیت برای حفظ دقت در استخراج ویژگی‌های محلی.
• بهبود عملکرد در وظایفی مانند تخمین عمق تک‌چشمی و تخمین نرمال سطح.
• ارائه کد منبع TransDepth به صورت رایگان در GitHub.

مقاله “شبکه‌های توجه مبتنی بر ترنسفورمر برای پیش‌بینی پیکسلی پیوسته” یک گام مهم در جهت بهبود عملکرد مدل‌های بینایی کامپیوتر در وظایف پیش‌بینی پیکسلی پیوسته برداشته است. معماری TransDepth، با ادغام شبکه‌های عصبی کانولوشنی و ترنسفورمرها، قادر به درک ویژگی‌های محلی و وابستگی‌های دوربرد به طور همزمان است. رمزگشای مبتنی بر گیت، نقش مهمی در حفظ دقت در استخراج ویژگی‌های محلی ایفا می‌کند و از کاهش عملکرد شبکه جلوگیری می‌کند. نتایج آزمایش‌ها نشان می‌دهد که TransDepth در مقایسه با روش‌های موجود، عملکرد بهتری ارائه می‌دهد و در سه مجموعه داده چالش‌برانگیز، به عملکردی پیشرو دست می‌یابد.

این مقاله، با ارائه یک معماری جدید و موثر، راه را برای تحقیقات بیشتر در زمینه کاربرد ترنسفورمرها در وظایف بینایی کامپیوتر هموار کرده است. دسترسی آزاد به کد منبع TransDepth، امکان استفاده و توسعه این معماری را برای سایر محققان و متخصصان فراهم می‌کند و می‌تواند منجر به پیشرفت‌های بیشتر در این حوزه شود.