در سال‌های اخیر، مدل‌های Vision Transformers (ViTs) به عنوان یکی از پیشروترین رویکردها در وظایف مختلف بینایی ماشین شناخته شده‌اند. این مدل‌ها، با استفاده از توکنایز کردن تصاویر به صورت تکه‌ای و سپس اعمال مکانیزم خودتوجهی (Self-Attention)، به نتایج قابل توجهی دست یافته‌اند. با این حال، استفاده از مکانیزم خودتوجهی منجر به پیچیدگی محاسباتی و مصرف حافظه درجه دو (quadratic) می‌شود که یکی از چالش‌های اصلی این مدل‌ها است.

مقاله حاضر با عنوان “SOFT: ترانسفورمر بدون سافت‌مکس با پیچیدگی خطی“، راهکاری نوین برای کاهش پیچیدگی محاسباتی در مدل‌های ترانسفورمر بینایی ارائه می‌دهد. این مقاله با بررسی دقیق محدودیت‌های روش‌های پیشین و ارائه یک معماری جدید به نام SOFT، گامی مهم در جهت افزایش کارایی و مقیاس‌پذیری مدل‌های ViT برداشته است. اهمیت این مقاله از آنجا ناشی می‌شود که می‌تواند امکان استفاده از مدل‌های ترانسفورمر را در کاربردهایی با داده‌های بزرگ و منابع محاسباتی محدود فراهم کند.

این تحقیق توسط جمعی از محققان برجسته در زمینه بینایی ماشین و یادگیری ماشین انجام شده است، از جمله:

• Jiachen Lu
• Jinghan Yao
• Junge Zhang
• Xiatian Zhu
• Hang Xu
• Weiguo Gao
• Chunjing Xu
• Tao Xiang
• Li Zhang

این محققان با تخصص در زمینه‌های مختلف از جمله مدل‌سازی ترانسفورمر، بهینه‌سازی الگوریتم و بینایی ماشین، توانسته‌اند راهکاری کارآمد و نوآورانه برای کاهش پیچیدگی محاسباتی در مدل‌های ViT ارائه دهند.

مقاله SOFT به بررسی و حل مشکل پیچیدگی محاسباتی ناشی از استفاده از مکانیزم خودتوجهی در مدل‌های ترانسفورمر بینایی می‌پردازد. روش‌های قبلی برای کاهش این پیچیدگی، اغلب با حفظ عملیات سافت‌مکس در مکانیزم خودتوجهی، محدودیت‌هایی داشتند. نویسندگان این مقاله با ارائه یک معماری جدید به نام SOFT، عملیات سافت‌مکس را حذف کرده و به جای آن از تابع هسته گوسی (Gaussian Kernel Function) برای محاسبه شباهت بین توکن‌ها استفاده می‌کنند. این رویکرد، امکان تقریب ماتریس خودتوجهی کامل را از طریق تجزیه ماتریس با رتبه پایین (low-rank matrix decomposition) فراهم می‌کند. برای اطمینان از پایداری و دقت تقریب، از روش نیوتن-رافسون (Newton-Raphson method) برای محاسبه معکوس مور-پنروز (Moore-Penrose inverse) استفاده می‌شود. نتایج آزمایش‌ها نشان می‌دهد که SOFT به طور قابل توجهی کارایی محاسباتی مدل‌های ViT را بهبود می‌بخشد و امکان استفاده از دنباله‌های توکن طولانی‌تر را فراهم می‌کند که منجر به تعادل بهتری بین دقت و پیچیدگی می‌شود.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

1. تحلیل انتقادی روش‌های پیشین: بررسی دقیق محدودیت‌های روش‌های قبلی برای کاهش پیچیدگی محاسباتی در مدل‌های ترانسفورمر بینایی و شناسایی نقش کلیدی عملیات سافت‌مکس در این محدودیت‌ها.
2. ارائه معماری SOFT: طراحی یک معماری جدید که در آن عملیات سافت‌مکس حذف شده و از تابع هسته گوسی برای محاسبه شباهت بین توکن‌ها استفاده می‌شود.
3. تقریب ماتریس خودتوجهی: استفاده از تجزیه ماتریس با رتبه پایین برای تقریب ماتریس خودتوجهی کامل.
4. محاسبه معکوس مور-پنروز: استفاده از روش نیوتن-رافسون برای محاسبه معکوس مور-پنروز ماتریس تقریب زده شده به منظور افزایش پایداری و دقت تقریب.
5. ارزیابی تجربی: انجام آزمایش‌های گسترده بر روی مجموعه داده‌های استاندارد (مانند ImageNet) برای ارزیابی کارایی، دقت و پیچیدگی محاسباتی مدل SOFT در مقایسه با مدل‌های ViT موجود.

به عنوان مثال، نویسندگان با استفاده از مجموعه داده ImageNet، عملکرد مدل SOFT را در وظیفه دسته‌بندی تصاویر با مدل‌های دیگر مقایسه کرده‌اند. نتایج نشان می‌دهد که SOFT با پیچیدگی خطی، به دقت قابل قبولی دست یافته و در عین حال، زمان آموزش و مصرف حافظه را به طور قابل توجهی کاهش داده است.

یافته‌های کلیدی این تحقیق عبارتند از:

• حذف سافت‌مکس: حذف عملیات سافت‌مکس در مکانیزم خودتوجهی، امکان کاهش قابل توجه پیچیدگی محاسباتی را فراهم می‌کند.
• کارایی محاسباتی: مدل SOFT به طور قابل توجهی کارایی محاسباتی مدل‌های ViT را بهبود می‌بخشد و امکان استفاده از دنباله‌های توکن طولانی‌تر را فراهم می‌کند.
• تعادل بین دقت و پیچیدگی: SOFT تعادل بهتری بین دقت و پیچیدگی محاسباتی نسبت به مدل‌های ViT موجود ارائه می‌دهد.
• مقیاس‌پذیری: معماری SOFT به دلیل پیچیدگی خطی، مقیاس‌پذیری بهتری نسبت به مدل‌های ViT با پیچیدگی درجه دو دارد.

یکی از یافته‌های جالب توجه، این است که SOFT با استفاده از دنباله‌های توکن طولانی‌تر، می‌تواند اطلاعات بیشتری را از تصاویر استخراج کند و در نتیجه، به دقت بالاتری در وظایف مختلف دست یابد. این امر نشان می‌دهد که حذف سافت‌مکس و استفاده از تابع هسته گوسی، نه تنها منجر به کاهش پیچیدگی محاسباتی می‌شود، بلکه می‌تواند عملکرد مدل را نیز بهبود بخشد.

دستاوردها و کاربردهای بالقوه این تحقیق عبارتند از:

• بهبود کارایی مدل‌های ViT: مدل SOFT می‌تواند به عنوان جایگزینی کارآمد برای مکانیزم خودتوجهی در مدل‌های ViT مورد استفاده قرار گیرد و منجر به بهبود کارایی و کاهش مصرف حافظه شود.
• استفاده در کاربردهای با داده‌های بزرگ: به دلیل پیچیدگی خطی، SOFT می‌تواند در کاربردهایی با داده‌های بزرگ و منابع محاسباتی محدود مورد استفاده قرار گیرد، مانند تحلیل تصاویر پزشکی، پردازش تصاویر ماهواره‌ای و تحلیل ویدیو.
• توسعه مدل‌های جدید: معماری SOFT می‌تواند به عنوان پایه و اساس برای توسعه مدل‌های جدیدتر و کارآمدتر در زمینه بینایی ماشین مورد استفاده قرار گیرد.
• تسریع تحقیقات در زمینه بینایی ماشین: با ارائه یک راهکار کارآمد برای کاهش پیچیدگی محاسباتی، SOFT می‌تواند به تسریع تحقیقات در زمینه بینایی ماشین و توسعه الگوریتم‌های پیشرفته‌تر کمک کند.

به عنوان مثال، می‌توان از مدل SOFT در سیستم‌های نظارت تصویری هوشمند استفاده کرد. این سیستم‌ها معمولاً با حجم زیادی از داده‌های ویدیویی سروکار دارند و نیاز به پردازش سریع و کارآمد دارند. SOFT با کاهش پیچیدگی محاسباتی، می‌تواند امکان پردازش实时 (real-time) این داده‌ها را فراهم کند.

مقاله SOFT یک گام مهم در جهت کاهش پیچیدگی محاسباتی در مدل‌های ترانسفورمر بینایی و افزایش کارایی و مقیاس‌پذیری این مدل‌ها برداشته است. با حذف عملیات سافت‌مکس و ارائه یک معماری جدید مبتنی بر تابع هسته گوسی و تجزیه ماتریس با رتبه پایین، SOFT توانسته است تعادل بهتری بین دقت و پیچیدگی محاسباتی ایجاد کند. این تحقیق می‌تواند تاثیر قابل توجهی بر توسعه و کاربرد مدل‌های ترانسفورمر در زمینه‌های مختلف بینایی ماشین داشته باشد و راه را برای تحقیقات بیشتر در این زمینه هموار کند. محققان در آینده می‌توانند بر روی بهینه‌سازی بیشتر معماری SOFT، بررسی کاربردهای جدید و توسعه الگوریتم‌های مشابه برای سایر وظایف یادگیری ماشین تمرکز کنند.