این مقاله به بررسی و بهبود استفاده از مدل‌سازی خودبازگشتی در حوزه بینایی کامپیوتر می‌پردازد. مدل‌سازی خودبازگشتی زبانی (ALM) با موفقیت در پیش‌آموزش خود-نظارتی در پردازش زبان طبیعی (NLP) مورد استفاده قرار گرفته است. با این حال، این الگو در بینایی کامپیوتر به نتایج قابل مقایسه‌ای با سایر رویکردهای خود-نظارتی (مانند یادگیری متضاد، مدل‌سازی تصویر پوشانده شده) دست نیافته است. این مقاله تلاش می‌کند تا دلیل عدم عملکرد خوب مدل‌سازی خودبازگشتی در وظایف بینایی را بیابد و راهکارهایی برای بهبود آن ارائه دهد.

این تحقیق توسط تیمی از محققان به سرپرستی Yu Qi, Fan Yang, Yousong Zhu, Yufei Liu, Liwei Wu, Rui Zhao و Wei Li انجام شده است. این محققان در زمینه بینایی کامپیوتر و یادگیری ماشین فعالیت دارند و هدف آن‌ها ارتقای روش‌های بازنمایی بصری با استفاده از تکنیک‌های نوین مدل‌سازی است.

زمینه اصلی این تحقیق، استفاده از مدل‌های خودبازگشتی در بینایی کامپیوتر است. مدل‌های خودبازگشتی در ابتدا در پردازش زبان طبیعی (NLP) با موفقیت استفاده شدند، اما انتقال این موفقیت به حوزه بینایی کامپیوتر با چالش‌هایی روبرو بوده است. این مقاله به دنبال شناسایی این چالش‌ها و ارائه راهکارهایی برای غلبه بر آن‌ها است.

چکیده مقاله به شرح زیر است:

مدل‌سازی خودبازگشتی زبانی (ALM) با موفقیت در پیش‌آموزش خود-نظارتی در پردازش زبان طبیعی (NLP) مورد استفاده قرار گرفته است. با این حال، این الگو در بینایی کامپیوتر به نتایج قابل مقایسه‌ای با سایر رویکردهای خود-نظارتی (مانند یادگیری متضاد، مدل‌سازی تصویر پوشانده شده) دست نیافته است. در این مقاله، تلاش می‌کنیم تا دلیل عدم عملکرد خوب مدل‌سازی خودبازگشتی در وظایف بینایی را بیابیم. برای مقابله با این مشکل، به طور کامل محدودیت‌های روش‌های خودبازگشتی بصری را تجزیه و تحلیل کرده و یک مدل‌سازی خودبازگشتی تصادفی تصویر (به نام SAIM) را با دو طراحی ساده پیشنهاد می‌دهیم. اولاً، از استراتژی جایگشت تصادفی برای تولید زمینه تصویر موثر و قوی استفاده می‌کنیم که برای وظایف بینایی بسیار مهم است. ثانیاً، یک فرآیند آموزش رمزگذار-رمزگشای موازی ایجاد می‌کنیم که در آن رمزگذار نقش مشابهی با ترانسفورماتور بینایی استاندارد دارد و بر یادگیری اطلاعات متنی کل تمرکز دارد، و در عین حال رمزگشا محتوای موقعیت فعلی را پیش‌بینی می‌کند، به طوری که رمزگذار و رمزگشا می‌توانند یکدیگر را تقویت کنند. با معرفی پیش‌بینی تصادفی و رمزگذار-رمزگشای موازی، SAIM به طور قابل توجهی عملکرد مدل‌سازی خودبازگشتی تصویر را بهبود می‌بخشد. روش ما به بهترین دقت (83.9%) در مدل vanilla ViT-Base در بین روش‌هایی که فقط از داده‌های ImageNet-1K استفاده می‌کنند، دست می‌یابد. عملکرد انتقال در وظایف پایین‌دستی نیز نشان می‌دهد که مدل ما به عملکرد رقابتی دست می‌یابد.

به طور خلاصه، مقاله یک روش جدید به نام SAIM (مدل‌سازی خودبازگشتی تصادفی تصویر) را برای بهبود عملکرد مدل‌های خودبازگشتی در بینایی کامپیوتر ارائه می‌دهد. این روش از دو ایده اصلی استفاده می‌کند:

• استراتژی جایگشت تصادفی برای تولید زمینه تصویر موثر و قوی
• فرآیند آموزش رمزگذار-رمزگشای موازی برای تقویت یادگیری

نتایج تجربی نشان می‌دهد که SAIM عملکرد بهتری نسبت به روش‌های موجود در ImageNet-1K دارد و عملکرد رقابتی در وظایف پایین‌دستی از خود نشان می‌دهد.

روش‌شناسی این تحقیق شامل مراحل زیر است:

1. تجزیه و تحلیل محدودیت‌های مدل‌های خودبازگشتی موجود: محققان به بررسی دقیق دلایل عدم موفقیت مدل‌های خودبازگشتی در بینایی کامپیوتر پرداختند. آن‌ها به این نتیجه رسیدند که یکی از مشکلات اصلی، عدم توانایی این مدل‌ها در capture کردن context تصویری به طور موثر است. در مدل‌های خودبازگشتی سنتی، ترتیب پردازش پیکسل‌ها ثابت است که می‌تواند منجر به یادگیری جانبدارانه شود. به عنوان مثال، اگر همیشه پیکسل‌ها از بالا به پایین و از چپ به راست پردازش شوند، مدل ممکن است به این ترتیب وابسته شود و نتواند الگوهای تصویری را به طور کلی درک کند.
2. پیشنهاد روش SAIM: برای رفع این محدودیت‌ها، محققان روش SAIM را پیشنهاد دادند. SAIM شامل دو نوآوری اصلی است:
   • استراتژی جایگشت تصادفی: در این استراتژی، ترتیب پردازش پیکسل‌ها به صورت تصادفی انتخاب می‌شود. این امر باعث می‌شود که مدل به یک ترتیب خاص وابسته نشود و بتواند context تصویری را به طور robust تری یاد بگیرد. به عنوان مثال، به جای پردازش پیکسل‌ها از بالا به پایین، ممکن است ابتدا پیکسل‌های گوشه بالا سمت چپ، سپس پیکسل‌های مرکز تصویر و در نهایت پیکسل‌های گوشه پایین سمت راست پردازش شوند. این تنوع در ترتیب پردازش به مدل کمک می‌کند تا الگوهای تصویری را از زوایای مختلف ببیند و درک بهتری از آن‌ها داشته باشد.
   • فرآیند آموزش رمزگذار-رمزگشای موازی: در این فرآیند، یک رمزگذار و یک رمزگشا به طور همزمان آموزش داده می‌شوند. رمزگذار نقش مشابهی با ترانسفورماتور بینایی (Vision Transformer) دارد و هدف آن یادگیری اطلاعات متنی کل تصویر است. رمزگشا وظیفه پیش‌بینی محتوای پیکسل فعلی را بر عهده دارد. با آموزش موازی این دو، رمزگذار و رمزگشا می‌توانند یکدیگر را تقویت کنند و عملکرد کلی مدل بهبود یابد. به عنوان مثال، رمزگذار می‌تواند context کلی تصویر (مانند وجود یک گربه در تصویر) را به رمزگشا ارائه دهد و رمزگشا با استفاده از این اطلاعات می‌تواند به طور دقیق‌تری رنگ و بافت پیکسل‌های مربوط به گربه را پیش‌بینی کند.
3. ارزیابی تجربی: محققان روش SAIM را بر روی مجموعه داده ImageNet-1K ارزیابی کردند و نتایج آن را با روش‌های موجود مقایسه کردند. آن‌ها همچنین عملکرد SAIM را در وظایف پایین‌دستی مانند طبقه‌بندی تصویر و تشخیص شیء مورد ارزیابی قرار دادند.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• روش SAIM به دقت 83.9% در مدل vanilla ViT-Base در مجموعه داده ImageNet-1K دست یافت که بهترین نتیجه در بین روش‌هایی است که فقط از این مجموعه داده استفاده می‌کنند. این نشان می‌دهد که SAIM می‌تواند به طور موثری اطلاعات تصویری را یاد بگیرد.
• SAIM در وظایف پایین‌دستی نیز عملکرد رقابتی از خود نشان داد. این نشان می‌دهد که SAIM می‌تواند بازنمایی‌های بصری با کیفیتی تولید کند که قابل استفاده در وظایف مختلف هستند.
• استفاده از استراتژی جایگشت تصادفی و فرآیند آموزش رمزگذار-رمزگشای موازی به طور قابل توجهی عملکرد مدل‌های خودبازگشتی را بهبود می‌بخشد. این نشان می‌دهد که این دو ایده می‌توانند به عنوان اجزای اصلی در طراحی مدل‌های خودبازگشتی برای بینایی کامپیوتر مورد استفاده قرار گیرند.

این تحقیق می‌تواند در زمینه‌های مختلف کاربرد داشته باشد، از جمله:

• یادگیری خود-نظارتی: SAIM می‌تواند به عنوان یک روش موثر برای پیش‌آموزش مدل‌های بینایی کامپیوتر به صورت خود-نظارتی مورد استفاده قرار گیرد. این امر می‌تواند به کاهش نیاز به داده‌های برچسب‌گذاری شده کمک کند و امکان آموزش مدل‌های بزرگتر و پیچیده‌تر را فراهم کند.
• بازنمایی بصری: SAIM می‌تواند بازنمایی‌های بصری با کیفیتی تولید کند که قابل استفاده در وظایف مختلف مانند طبقه‌بندی تصویر، تشخیص شیء، تقسیم‌بندی تصویر و غیره هستند.
• مدل‌سازی مولد: SAIM می‌تواند برای تولید تصاویر جدید مورد استفاده قرار گیرد.

از جمله دستاوردهای این تحقیق می‌توان به موارد زیر اشاره کرد:

• ارائه یک روش جدید برای مدل‌سازی خودبازگشتی تصویر به نام SAIM
• بهبود عملکرد مدل‌های خودبازگشتی در بینایی کامپیوتر
• تولید بازنمایی‌های بصری با کیفیت

در این مقاله، یک روش جدید به نام SAIM برای بهبود عملکرد مدل‌های خودبازگشتی در بینایی کامپیوتر ارائه شد. SAIM از دو ایده اصلی استفاده می‌کند: استراتژی جایگشت تصادفی و فرآیند آموزش رمزگذار-رمزگشای موازی. نتایج تجربی نشان می‌دهد که SAIM عملکرد بهتری نسبت به روش‌های موجود در ImageNet-1K دارد و عملکرد رقابتی در وظایف پایین‌دستی از خود نشان می‌دهد. این تحقیق نشان می‌دهد که مدل‌سازی خودبازگشتی همچنان پتانسیل بالایی در بینایی کامپیوتر دارد و با استفاده از تکنیک‌های مناسب می‌توان به نتایج قابل توجهی دست یافت.

آینده این تحقیق می‌تواند شامل بررسی معماری‌های مختلف برای رمزگذار و رمزگشا، استفاده از مجموعه داده‌های بزرگتر و ارزیابی SAIM در وظایف پیچیده‌تر بینایی کامپیوتر باشد.