مقاله “UPANets: یادگیری از شبکه‌های توجه پیکسلی سراسری” به بررسی رویکردی جدید در معماری شبکه‌های عصبی کانولوشنال (CNNs) برای دسته‌بندی تصاویر می‌پردازد. این مقاله با تمرکز بر ترکیب ساختارهای اتصال جهشی (skip connections) و اتصال متراکم (densely connections) با مکانیسم توجه (attention mechanism)، یک معماری کارآمد و مؤثر را ارائه می‌دهد که عملکرد بالایی در مجموعه‌های داده مختلف از خود نشان داده است. اهمیت این مقاله در ارائه یک راه حل عملی و بهینه برای بهره‌گیری از مزایای هر دو ساختار اتصال و مکانیسم توجه، با حفظ کارایی محاسباتی، نهفته است.

این تحقیق توسط گروهی از محققان به نام‌های Ching-Hsun Tseng, Shin-Jye Lee, Jia-Nan Feng, Shengzhong Mao, Yu-Ping Wu, Jia-Yu Shang, Mou-Chung Tseng, و Xiao-Jun Zeng انجام شده است. زمینه تخصصی این محققان، بینایی کامپیوتر و تشخیص الگو است. هدف اصلی آن‌ها بهبود عملکرد شبکه‌های عصبی کانولوشنال در وظایف دسته‌بندی تصاویر، با استفاده از رویکردهای نوین در معماری شبکه و مکانیسم‌های توجه بوده است. این تیم تحقیقاتی با انتشار کد پیاده‌سازی شده UPANets در GitHub (https://github.com/hanktseng131415go/UPANets) امکان استفاده و توسعه بیشتر این معماری را برای سایر محققان و توسعه‌دهندگان فراهم کرده‌اند.

چکیده این مقاله به این نکته اشاره دارد که شبکه‌های مبتنی بر اتصال جهشی و متراکم، در وظایف دسته‌بندی تصاویر، عملکرد بسیار خوبی داشته‌اند. همچنین، توسعه موفقیت‌آمیز مکانیسم توجه چند-سره (multi-head attention) در پردازش زبان طبیعی (NLP) نشان می‌دهد که استفاده از مدل‌های مبتنی بر ترانسفورمر (Transformer) یا شبکه‌های CNN هیبریدی با مکانیسم توجه، رویکردی کارآمد است. با این حال، آموزش مدل‌های ترانسفورمر به منابع محاسباتی بسیار زیادی نیاز دارد. مقاله UPANets، با ارائه یک ساختار جدید، سعی در ایجاد تعادل بین این دو رویکرد دارد.

هدف اصلی UPANets، تجهیز شبکه‌های CNN به توانایی مدیریت اطلاعات محلی و سراسری است. این هدف با استفاده از مکانیسم توجه کانالی (channel-wise attention) و یک ساختار اتصال جهشی-متراکم هیبریدی محقق می‌شود. همچنین، ساختار اتصالاتی حداکثری (extreme-connection structure) باعث می‌شود UPANets در برابر تغییرات داده‌ها مقاوم باشد و سطح زیان (loss landscape) هموارتری داشته باشد. نتایج تجربی نشان می‌دهند که UPANets در مجموعه‌های داده Cifar-10، Cifar-100، و Tiny Imagenet به دقت‌های 96.47%، 80.29%، و 67.67% دست یافته است که از بسیاری از مدل‌های SOTA (State-of-the-Art) شناخته شده و پرکاربرد، عملکرد بهتری دارد. نکته قابل توجه این است که این عملکرد با کارایی بالای پارامترها و تنها با آموزش در یک پردازنده گرافیکی (GPU) مبتنی بر مشتری (customer-based) به دست آمده است.

روش‌شناسی تحقیق در این مقاله شامل طراحی و پیاده‌سازی یک معماری جدید شبکه عصبی کانولوشنال به نام UPANets است. این معماری از سه جزء اصلی تشکیل شده است:

• ساختار اتصال جهشی-متراکم هیبریدی: این ساختار با ترکیب مزایای اتصالات جهشی (کاهش مشکل ناپدید شدن گرادیان) و اتصالات متراکم (بهبود جریان اطلاعات)، امکان یادگیری ویژگی‌های پیچیده و چند مقیاسی را فراهم می‌کند.
• مکانیسم توجه کانالی: این مکانیسم با تخصیص وزن‌های متفاوت به کانال‌های مختلف ویژگی، به شبکه اجازه می‌دهد تا بر روی مهم‌ترین ویژگی‌ها برای هر تصویر تمرکز کند.
• ساختار اتصالاتی حداکثری: این ساختار با ایجاد اتصالات متعدد بین لایه‌های مختلف شبکه، پایداری و مقاومت شبکه را در برابر تغییرات داده‌ها افزایش می‌دهد.

برای ارزیابی عملکرد UPANets، این معماری بر روی سه مجموعه داده معروف Cifar-10، Cifar-100، و Tiny Imagenet آموزش داده شده است. نتایج حاصل با عملکرد سایر مدل‌های SOTA مقایسه شده‌اند. همچنین، به منظور بررسی کارایی محاسباتی UPANets، تعداد پارامترهای شبکه و منابع مورد نیاز برای آموزش آن نیز گزارش شده‌اند.

به عنوان مثال، فرض کنید یک تصویر از یک سگ به شبکه داده می‌شود. مکانیسم توجه کانالی در UPANets به شبکه کمک می‌کند تا کانال‌هایی که حاوی اطلاعات مربوط به بافت، لبه‌ها و ویژگی‌های کلیدی سگ هستند را شناسایی کرده و به آن‌ها وزن بیشتری اختصاص دهد. این امر باعث می‌شود شبکه به طور مؤثرتری ویژگی‌های مهم تصویر را یاد بگیرد و در نهایت، با دقت بالاتری تصویر را دسته‌بندی کند.

یافته‌های کلیدی این تحقیق عبارتند از:

• UPANets در مجموعه‌های داده Cifar-10، Cifar-100، و Tiny Imagenet به دقت بالاتری نسبت به بسیاری از مدل‌های SOTA دست یافته است. به طور خاص، دقت‌های 96.47% در Cifar-10، 80.29% در Cifar-100، و 67.67% در Tiny Imagenet به ثبت رسیده است.
• UPANets با وجود عملکرد بالا، از کارایی پارامتری قابل توجهی برخوردار است. این بدان معناست که UPANets با استفاده از تعداد نسبتاً کمی پارامتر، به دقت بالایی دست می‌یابد. این امر باعث می‌شود UPANets برای کاربردهایی که منابع محاسباتی محدودی دارند، مناسب باشد.
• UPANets با استفاده از یک پردازنده گرافیکی مبتنی بر مشتری (customer-based GPU) آموزش داده شده است. این نشان می‌دهد که آموزش UPANets به منابع محاسباتی گران‌قیمت و تخصصی نیاز ندارد و به راحتی قابل پیاده‌سازی و استفاده است.

به عنوان مثال، در مقایسه با یک مدل CNN سنتی که فقط از لایه‌های کانولوشنال و لایه‌های ادغام (pooling) استفاده می‌کند، UPANets با استفاده از مکانیسم توجه کانالی، می‌تواند ویژگی‌های مهم‌تر تصاویر را بهتر شناسایی کند و در نتیجه، عملکرد بهتری داشته باشد.

کاربردها و دستاوردهای UPANets عبارتند از:

• بهبود عملکرد در وظایف دسته‌بندی تصاویر: UPANets می‌تواند در طیف گسترده‌ای از کاربردها که نیاز به دسته‌بندی دقیق تصاویر دارند، مورد استفاده قرار گیرد. از جمله این کاربردها می‌توان به تشخیص اشیاء در تصاویر، تشخیص چهره، و دسته‌بندی تصاویر پزشکی اشاره کرد.
• ارائه یک معماری کارآمد و قابل پیاده‌سازی: UPANets با کارایی پارامتری بالا و نیاز به منابع محاسباتی محدود، یک گزینه مناسب برای کاربردهایی است که محدودیت‌های سخت‌افزاری دارند.
• ایجاد بستری برای تحقیقات بیشتر: انتشار کد پیاده‌سازی شده UPANets در GitHub، امکان استفاده و توسعه بیشتر این معماری را برای سایر محققان و توسعه‌دهندگان فراهم می‌کند.

به عنوان مثال، UPANets می‌تواند در سیستم‌های خودران برای تشخیص علائم راهنمایی و رانندگی و سایر اشیاء موجود در محیط اطراف خودرو مورد استفاده قرار گیرد. همچنین، UPANets می‌تواند در سیستم‌های تشخیص پزشکی برای تشخیص دقیق‌تر بیماری‌ها از روی تصاویر پزشکی مورد استفاده قرار گیرد.

مقاله UPANets با ارائه یک معماری جدید و کارآمد برای شبکه‌های عصبی کانولوشنال، گامی مهم در جهت بهبود عملکرد این شبکه‌ها در وظایف دسته‌بندی تصاویر برداشته است. UPANets با ترکیب ساختارهای اتصال جهشی-متراکم هیبریدی و مکانیسم توجه کانالی، به دقت بالاتری نسبت به بسیاری از مدل‌های SOTA دست یافته است، در حالی که از کارایی پارامتری بالایی نیز برخوردار است. این امر UPANets را به یک گزینه مناسب برای طیف گسترده‌ای از کاربردها تبدیل می‌کند. انتشار کد پیاده‌سازی شده UPANets در GitHub، امکان استفاده و توسعه بیشتر این معماری را برای سایر محققان و توسعه‌دهندگان فراهم می‌کند و می‌تواند به پیشرفت بیشتر در زمینه بینایی کامپیوتر کمک کند. معماری UPANets نشان دهنده یک رویکرد امیدوارکننده برای طراحی شبکه‌های عصبی است که قادر به یادگیری ویژگی‌های پیچیده و چند مقیاسی تصاویر با کارایی بالا هستند.