درک سه‌بعدی محیط، یکی از حیاتی‌ترین چالش‌ها در مسیر توسعه وسایل نقلیه خودران و سیستم‌های رباتیک هوشمند است. در میان وظایف مختلف ادراکی، تخمین عمق (Depth Estimation) نقشی کلیدی ایفا می‌کند، زیرا به سیستم اجازه می‌دهد تا فاصله خود را تا اشیاء دیگر بسنجد و تصمیمات ایمن و دقیقی برای ناوبری اتخاذ کند. دوربین‌ها منبعی غنی از اطلاعات معنایی و بافتی هستند، اما تخمین عمق دقیق از یک تصویر دو بعدی (تک‌چشمی) به تنهایی، یک مسئله ذاتاً پیچیده و مبهم است. از سوی دیگر، سنسورهای رادار قادرند اطلاعات دقیق اما پراکنده‌ای از فاصله و سرعت اشیاء، حتی در شرایط جوی نامساعد مانند باران و مه، ارائه دهند.

ترکیب این دو سنسور، یعنی همجوشی رادار و دوربین، راهکاری قدرتمند و مقرون‌به‌صرفه برای غلبه بر محدودیت‌های هر یک به شمار می‌رود. مقاله “RCDPT: Radar-Camera fusion Dense Prediction Transformer” که توسط Chen-Chou Lo و Patrick Vandewalle ارائه شده است، یک رویکرد نوین برای این همجوشی معرفی می‌کند. این مقاله با بهره‌گیری از معماری پیشرفته ترنسفورمرها (Transformers) که انقلابی در پردازش زبان طبیعی ایجاد کرده و اکنون در حال دگرگون ساختن حوزه بینایی کامپیوتر هستند، مدلی نوآورانه برای تخمین عمق چگال ارائه می‌دهد. اهمیت این پژوهش در ارائه یک استراتژی همجوشی کارآمد است که عملکردی فراتر از مدل‌های مبتنی بر شبکه‌های کانولوشنی (CNN) سنتی و سایر روش‌های همجوشی مبتنی بر ترنسفورمر دارد و گامی مهم در جهت تحقق سیستم‌های ادراکی قوی‌تر و قابل‌اعتمادتر برای دنیای واقعی برمی‌دارد.

این مقاله توسط Chen-Chou Lo و Patrick Vandewalle به نگارش درآمده است. این پژوهشگران در حوزه بینایی کامپیوتر و بازشناسی الگو (Computer Vision and Pattern Recognition) و پردازش تصویر و ویدئو فعالیت دارند. این حوزه‌ها از شاخه‌های کلیدی هوش مصنوعی هستند که بر توسعه الگوریتم‌هایی برای درک و تفسیر محتوای بصری جهان تمرکز دارند.

تحقیقات آن‌ها به‌طور خاص بر روی همجوشی چندوجهی (Multi-modal Fusion)، یادگیری عمیق برای سیستم‌های خودران و کاربرد معماری‌های نوین مانند ترنسفورمرها در مسائل ادراک سه‌بعدی متمرکز است. این پژوهش در تقاطع یادگیری عمیق، پردازش سیگنال و رباتیک قرار می‌گیرد و به دنبال حل چالش‌های عملی در ساخت سیستم‌های هوشمندی است که می‌توانند با محیط خود به شیوه‌ای ایمن و مؤثر تعامل داشته باشند.

مقاله حاضر، یک معماری جدید به نام RCDPT را برای تخمین عمق دقیق با استفاده از داده‌های دوربین و رادار معرفی می‌کند. نویسندگان استدلال می‌کنند که شبکه‌های ترنسفورمر، که اخیراً موفقیت‌های چشمگیری در بینایی کامپیوتر کسب کرده‌اند، پتانسیل بالایی برای وظایف پیش‌بینی چگال مانند تخمین عمق دارند. با این حال، ادغام مؤثر یک منبع داده اضافی و پراکنده مانند رادار در این معماری‌ها یک چالش باز است.

در ترنسفورمرهای بینایی سنتی، گاهی از «توکن‌های بازخوانی» (Readout Tokens) برای تجمیع اطلاعات سراسری تصویر جهت وظایف طبقه‌بندی استفاده می‌شود. اما این رویکرد برای تولید یک خروجی چگال (یعنی یک مقدار برای هر پیکسل) کارایی محدودی دارد. در مقابل، RCDPT یک استراتژی همجوشی نوآورانه را پیشنهاد می‌کند که در آن، بازنمایی‌های استخراج‌شده از داده‌های رادار به شکلی هوشمندانه با بازنمایی‌های دوربین “بازآرایی” (Reassemble) می‌شوند. به جای تکیه بر یک توکن واحد، این مدل اطلاعات عمق دقیق رادار را مستقیماً در جریان پردازش اطلاعات تصویر توسط ترنسفورمر تزریق می‌کند.

برای اثبات کارایی این رویکرد، آزمایش‌های گسترده‌ای بر روی مجموعه داده معتبر nuScenes انجام شده است. این مجموعه داده شامل تصاویر دوربین، داده‌های لایدار (Lidar) و رادار از سناریوهای رانندگی واقعی است. نتایج نشان می‌دهد که روش پیشنهادی RCDPT نه تنها از سایر استراتژی‌های همجوشی رایج در معماری‌های ترنسفورمر بهتر عمل می‌کند، بلکه عملکردی برتر نسبت به مدل‌های پیشرفته مبتنی بر CNN که برای همین وظیفه طراحی شده‌اند، از خود به نمایش می‌گذارد.

اساس مدل RCDPT بر پایه معماری ترنسفورمر پیش‌بینی چگال (Dense Prediction Transformer – DPT) بنا شده است. برخلاف شبکه‌های CNN که با فیلترهای محلی کار می‌کنند، ترنسفورمرها از مکانیزم «توجه» (Attention) برای مدل‌سازی روابط دوربرد بین تمام بخش‌های ورودی استفاده می‌کنند. این ویژگی به آن‌ها اجازه می‌دهد تا درک جامعی از زمینه کلی صحنه داشته باشند.

روش‌شناسی این تحقیق شامل چند مرحله کلیدی است:

• پردازش ورودی‌ها: مدل دارای دو شاخه پردازش موازی است. در یک شاخه، تصویر دوربین به مجموعه‌ای از تکه‌های (Patches) کوچک تقسیم شده و هر تکه به یک بردار یا «توکن» تبدیل می‌شود. در شاخه دیگر، ابر نقاط پراکنده رادار نیز پردازش شده و به مجموعه‌ای از «توکن‌های بازنمایی رادار» تبدیل می‌شود که هر کدام حاوی اطلاعات دقیق فاصله و مکان هستند.
• معماری ترنسفورمر: توکن‌های تصویر وارد یک رمزگذار (Encoder) ترنسفورمر استاندارد می‌شوند. این رمزگذار از چندین لایه توجه به خود (Self-Attention) تشکیل شده است که به مدل امکان می‌دهد تا روابط پیچیده بین بخش‌های مختلف تصویر را بیاموزد.
• استراتژی همجوشی نوآورانه (Reassembling): این بخش، قلب نوآوری مقاله است. به جای روش‌های ساده مانند الحاق داده‌ها در ابتدا یا استفاده از توکن‌های بازخوانی، RCDPT توکن‌های رادار را به صورت استراتژیک در میان توکن‌های تصویر در لایه‌های میانی رمزگذار ترنسفورمر تزریق و بازآرایی می‌کند. این کار به مکانیزم توجه اجازه می‌دهد تا به طور پویا اطلاعات عمق دقیق از رادار را با ویژگی‌های بصری غنی از دوربین ترکیب کند. مدل یاد می‌گیرد که چگونه و در کجا از نقاط پراکنده رادار برای اصلاح و بهبود نقشه عمق کلی استفاده نماید. این فرآیند، اطلاعات پراکنده را به شکلی مؤثر در سراسر بازنمایی چگال تصویر پخش می‌کند.
• رمزگشا و خروجی چگال: پس از اینکه رمزگذار، ویژگی‌های همجوشی‌شده را تولید کرد، یک رمزگشای (Decoder) مبتنی بر کانولوشن این ویژگی‌ها را دریافت کرده و آن‌ها را به تدریج به یک نقشه عمق با وضوح کامل بازسازی می‌کند. خروجی نهایی، یک تصویر است که در آن مقدار هر پیکسل، عمق تخمینی آن نقطه در صحنه را نشان می‌دهد.

این رویکرد با پرهیز از مکانیزم‌های ناکارآمد برای وظایف چگال، راهکاری مستقیم و قدرتمند برای بهره‌برداری از نقاط قوت هر دو سنسور در یک معماری یکپارچه فراهم می‌آورد.

آزمایش‌های انجام‌شده بر روی مجموعه داده چالش‌برانگیز nuScenes نتایج قانع‌کننده‌ای را به همراه داشت که برتری رویکرد RCDPT را تأیید می‌کند. یافته‌های اصلی این پژوهش به شرح زیر است:

• برتری بر سایر استراتژی‌های همجوشی: نویسندگان مدل خود را با رویکردهای رایج دیگر برای ادغام داده‌ها در ترنسفورمرها مقایسه کردند. نتایج به وضوح نشان داد که استراتژی «بازآرایی» (Reassembling) پیشنهادی، عملکرد بهتری در معیارهای استاندارد تخمین عمق مانند خطای نسبی مطلق (Abs Rel) و خطای جذر میانگین مربعات (RMSE) دارد. این امر ثابت می‌کند که نحوه ادغام اطلاعات به اندازه خود اطلاعات اهمیت دارد.
• عملکرد بهتر از مدل‌های مبتنی بر CNN: مدل RCDPT توانست از مدل‌های پیشرفته (State-of-the-art) که از معماری‌های مبتنی بر CNN برای همجوشی رادار و دوربین استفاده می‌کنند، پیشی بگیرد. این یافته نشان‌دهنده پتانسیل بالای معماری ترنسفورمر برای درک روابط فضایی پیچیده و ادغام منابع اطلاعاتی ناهمگون است.
• بهبود کیفی در نتایج: علاوه بر بهبودهای کمی در معیارها، نتایج کیفی نیز نشان‌دهنده تولید نقشه‌های عمق دقیق‌تر و منسجم‌تر بود. مدل RCDPT به ویژه در تخمین عمق اشیاء دوردست و بازسازی لبه‌های واضح بین اشیاء، که از نقاط ضعف اصلی روش‌های تک‌چشمی هستند، عملکرد بسیار خوبی از خود نشان داد. این بهبود مستقیماً به توانایی مدل در بهره‌برداری از نقاط دقیق رادار برای تثبیت تخمین‌های خود بازمی‌گردد.

این پژوهش دستاوردهای مهمی دارد و کاربردهای عملی گسترده‌ای را در دنیای واقعی نوید می‌دهد:

• ایمنی بالاتر در رانندگی خودران: با ارائه تخمین عمق دقیق‌تر، سیستم‌های خودران می‌توانند موانع را با اطمینان بیشتری شناسایی کرده، فاصله ایمن را حفظ کنند و مسیرهای بهینه‌تری را برنامه‌ریزی نمایند. این امر مستقیماً به افزایش ایمنی سرنشینان و عابران پیاده منجر می‌شود.
• سیستم‌های کمک‌راننده پیشرفته (ADAS) مقرون‌به‌صرفه: همجوشی دوربین و رادار یک جایگزین بسیار ارزان‌تر برای سیستم‌های مبتنی بر لایدار است. این فناوری می‌تواند پیاده‌سازی ویژگی‌های ایمنی پیشرفته مانند ترمز اضطراری خودکار (AEB) و کروز کنترل تطبیقی (ACC) را در طیف گسترده‌تری از وسایل نقلیه امکان‌پذیر سازد.
• افزایش استحکام در شرایط مختلف: یکی از بزرگترین مزایای رادار، عملکرد پایدار آن در شرایط جوی نامساعد است. با همجوشی مؤثر این سنسور با دوربین، سیستم ادراکی حاصل، قوی‌تر شده و در شرایطی که دوربین به تنهایی دچار مشکل می‌شود (مانند مه، باران شدید یا تاریکی)، همچنان کارایی خود را حفظ می‌کند.
• پیشرفت در حوزه رباتیک و ناوبری: ربات‌های متحرک، چه در انبارها و چه در محیط‌های بیرونی، برای ناوبری ایمن و تعامل با محیط به درک سه‌بعدی نیاز دارند. راهکار ارائه شده در این مقاله می‌تواند به طور مستقیم در این ربات‌ها برای بهبود قابلیت‌های ادراکی آن‌ها به کار گرفته شود.

مقاله “RCDPT: Radar-Camera fusion Dense Prediction Transformer” یک گام مهم رو به جلو در زمینه همجوشی سنسورها برای بینایی کامپیوتر است. این تحقیق با موفقیت نشان می‌دهد که چگونه می‌توان از قدرت معماری ترنسفورمر برای ادغام هوشمندانه داده‌های ناهمگون از دوربین و رادار بهره برد. استراتژی نوآورانه «بازآرایی» که در این مقاله معرفی شده، راهکاری کارآمد برای تزریق اطلاعات دقیق اما پراکنده رادار به بازنمایی‌های غنی اما مبهم دوربین ارائه می‌دهد.

نتایج تجربی قوی بر روی مجموعه داده nuScenes، برتری این رویکرد را هم بر روش‌های مبتنی بر CNN و هم بر سایر استراتژی‌های همجوشی در ترنسفورمرها اثبات می‌کند. RCDPT نه تنها یک پیشرفت آکادمیک است، بلکه راه را برای توسعه نسل جدیدی از سیستم‌های ادراکی قوی، دقیق و مقرون‌به‌صرفه هموار می‌سازد که می‌توانند اساس فناوری‌های آینده در حوزه رانندگی خودران و رباتیک باشند.