در عصر حاضر، مدل‌های ترانسفورمر (Transformer) به عنوان یکی از ارکان اصلی در حوزه‌های مختلف یادگیری ماشین، به ویژه در پردازش زبان طبیعی (NLP) و بینایی کامپیوتر (Computer Vision) شناخته می‌شوند. این مدل‌ها با اتکا به مکانیسم توجه (Attention Mechanism)، قادر به درک روابط پیچیده بین داده‌ها و استخراج ویژگی‌های مهم هستند. در این میان، کدگذاری موقعیت (Position Encoding) نقش حیاتی در عملکرد ترانسفورمرها ایفا می‌کند، زیرا به مدل کمک می‌کند تا ترتیب و موقعیت عناصر ورودی را درک کند.

مقاله “بازنگری و بهبود کدگذاری موقعیت نسبی برای ترانسفورمر بینایی” به بررسی و ارتقای روش‌های کدگذاری موقعیت نسبی (Relative Position Encoding – RPE) در مدل‌های ترانسفورمر بینایی می‌پردازد. این مقاله به این سوال مهم پاسخ می‌دهد که آیا RPE می‌تواند در بینایی کامپیوتر به اندازه کدگذاری موقعیت مطلق (Absolute Position Encoding) کارآمد باشد؟ همچنین، این مقاله تلاش می‌کند تا با ارائه روش‌های جدید و بهینه‌سازی شده RPE، عملکرد مدل‌های ترانسفورمر در وظایف بینایی را بهبود بخشد.

اهمیت این مقاله از آنجا ناشی می‌شود که کدگذاری موقعیت نسبی، به مدل این امکان را می‌دهد تا روابط بین عناصر تصویر را به طور موثرتری یاد بگیرد. این موضوع به ویژه در وظایفی مانند تشخیص اشیا (Object Detection) و تقسیم‌بندی تصاویر (Image Segmentation) که درک موقعیت و ارتباط بین اجزای مختلف تصویر بسیار مهم است، اهمیت پیدا می‌کند.

این مقاله توسط Kan Wu, Houwen Peng, Minghao Chen, Jianlong Fu و Hongyang Chao نوشته شده است. نویسندگان این مقاله، محققان برجسته‌ای در زمینه بینایی کامپیوتر و یادگیری ماشین هستند و دارای سوابق تحقیقاتی قوی در زمینه مدل‌های ترانسفورمر و کاربردهای آن در پردازش تصاویر هستند. زمینه تحقیق این مقاله، به طور خاص، بهبود عملکرد مدل‌های ترانسفورمر در وظایف بینایی از طریق بهینه‌سازی روش‌های کدگذاری موقعیت نسبی است.

چکیده این مقاله به این نکته اشاره دارد که کدگذاری موقعیت نسبی (RPE) برای درک ترتیب توکن‌های ورودی در مدل‌های ترانسفورمر اهمیت زیادی دارد. اگرچه کارایی RPE در پردازش زبان طبیعی (NLP) به خوبی اثبات شده است، اما کارایی آن در بینایی کامپیوتر هنوز به طور کامل بررسی نشده و حتی مورد بحث است. به عنوان مثال، این سوال مطرح است که آیا RPE می‌تواند به اندازه کدگذاری موقعیت مطلق (APE) در بینایی کامپیوتر کارآمد باشد؟

برای روشن شدن این موضوع، نویسندگان ابتدا روش‌های موجود RPE را بررسی و مزایا و معایب آن‌ها را در کاربرد در ترانسفورمرهای بینایی تجزیه و تحلیل می‌کنند. سپس، روش‌های جدید RPE را به طور خاص برای تصاویر دو بعدی پیشنهاد می‌کنند، که iRPE (Image RPE) نامیده می‌شوند. روش‌های iRPE پیشنهادی، مدل‌سازی فاصله نسبی جهت‌دار و همچنین تعامل بین پرس و جوها (queries) و تعبیه‌های موقعیت نسبی (relative position embeddings) در مکانیسم خود-توجه (self-attention) را در نظر می‌گیرند.

روش‌های iRPE پیشنهادی ساده و سبک هستند و به راحتی می‌توان آن‌ها را در بلوک‌های ترانسفورمر ادغام کرد. نتایج آزمایش‌ها نشان می‌دهد که با استفاده از روش‌های کدگذاری پیشنهادی، مدل‌های DeiT و DETR به ترتیب تا 1.5٪ (top-1 Acc) و 1.3٪ (mAP) بهبود پایدار در مجموعه‌داده‌های ImageNet و COCO نسبت به نسخه‌های اصلی خود بدون تنظیم هیچ ابرپارامتر اضافی مانند نرخ یادگیری و میرایی وزن (weight decay) به دست می‌آورند. تحلیل‌های نویسندگان همچنین یافته‌های جالبی را به همراه دارد که برخی از آن‌ها با درک قبلی در تضاد هستند.

روش‌شناسی تحقیق این مقاله شامل چندین مرحله کلیدی است:

• بررسی روش‌های موجود RPE: نویسندگان ابتدا به بررسی جامع روش‌های موجود کدگذاری موقعیت نسبی (RPE) در ادبیات پرداخته و مزایا و معایب هر یک را در کاربرد در ترانسفورمرهای بینایی مورد تجزیه و تحلیل قرار می‌دهند.
• طراحی روش‌های جدید iRPE: بر اساس تحلیل‌های انجام شده، نویسندگان روش‌های جدید کدگذاری موقعیت نسبی برای تصاویر دو بعدی (iRPE) را طراحی می‌کنند. این روش‌ها، مدل‌سازی فاصله نسبی جهت‌دار و تعامل بین پرس و جوها و تعبیه‌های موقعیت نسبی را در نظر می‌گیرند.
• پیاده‌سازی و آزمایش: روش‌های iRPE پیشنهادی در مدل‌های ترانسفورمر بینایی مانند DeiT و DETR پیاده‌سازی و بر روی مجموعه‌داده‌های ImageNet و COCO آزمایش می‌شوند.
• تحلیل نتایج: نتایج آزمایش‌ها به دقت تحلیل شده و عملکرد مدل‌های ترانسفورمر با و بدون استفاده از روش‌های iRPE مقایسه می‌شود. همچنین، تاثیر عوامل مختلف مانند تنظیم ابرپارامترها و نوع معماری ترانسفورمر بر عملکرد مدل بررسی می‌شود.
• تحلیل ابلیشن (Ablation Study): نویسندگان برای درک بهتر اهمیت هر یک از اجزای iRPE، تحلیل ابلیشن انجام داده‌اند. در این نوع تحلیل، هر بار یک جزء از iRPE حذف شده و تاثیر آن بر عملکرد مدل بررسی می‌شود.

یافته‌های کلیدی این مقاله عبارتند از:

• بهبود عملکرد قابل توجه: روش‌های iRPE پیشنهادی، بهبود قابل توجهی در عملکرد مدل‌های DeiT و DETR در مجموعه‌داده‌های ImageNet و COCO ایجاد می‌کنند. این بهبود عملکرد بدون نیاز به تنظیم ابرپارامترهای اضافی حاصل می‌شود.
• کارایی در وظایف مختلف: روش‌های iRPE در وظایف مختلف بینایی مانند طبقه‌بندی تصاویر (Image Classification) و تشخیص اشیا (Object Detection) کارآمد هستند.
• سادگی و سبکی: روش‌های iRPE ساده و سبک هستند و به راحتی می‌توان آن‌ها را در بلوک‌های ترانسفورمر ادغام کرد.
• اهمیت جهت‌دار بودن: مدل‌سازی فاصله نسبی جهت‌دار در iRPE، تاثیر مثبتی بر عملکرد مدل دارد.
• تعامل پرس و جوها و تعبیه‌های موقعیت نسبی: تعامل بین پرس و جوها و تعبیه‌های موقعیت نسبی در مکانیسم خود-توجه، به مدل کمک می‌کند تا روابط بین عناصر تصویر را به طور موثرتری یاد بگیرد.

این تحقیق دارای کاربردها و دستاوردهای متعددی است، از جمله:

• بهبود عملکرد مدل‌های ترانسفورمر بینایی: روش‌های iRPE پیشنهادی می‌توانند برای بهبود عملکرد مدل‌های ترانسفورمر در وظایف مختلف بینایی مورد استفاده قرار گیرند.
• ارائه روش‌های جدید کدگذاری موقعیت نسبی: این تحقیق روش‌های جدید و بهینه‌سازی شده کدگذاری موقعیت نسبی را برای تصاویر دو بعدی ارائه می‌کند.
• ایجاد درک بهتر از RPE: این تحقیق به درک بهتر از مزایا و معایب روش‌های مختلف کدگذاری موقعیت نسبی در بینایی کامپیوتر کمک می‌کند.
• کد و مدل های متن باز: نویسندگان کد و مدل‌های آموزش داده شده را به صورت متن باز در GitHub منتشر کرده‌اند که به محققان دیگر اجازه می‌دهد از یافته‌های این مقاله بهره‌مند شوند.

مقاله “بازنگری و بهبود کدگذاری موقعیت نسبی برای ترانسفورمر بینایی” با ارائه روش‌های جدید iRPE، گامی مهم در جهت بهبود عملکرد مدل‌های ترانسفورمر در وظایف بینایی برداشته است. روش‌های iRPE پیشنهادی ساده، سبک و کارآمد هستند و می‌توانند به راحتی در بلوک‌های ترانسفورمر ادغام شوند. نتایج آزمایش‌ها نشان می‌دهد که استفاده از روش‌های iRPE می‌تواند بهبود قابل توجهی در عملکرد مدل‌های DeiT و DETR در مجموعه‌داده‌های ImageNet و COCO ایجاد کند. این تحقیق همچنین به درک بهتر از مزایا و معایب روش‌های مختلف کدگذاری موقعیت نسبی در بینایی کامپیوتر کمک می‌کند و زمینه را برای تحقیقات آینده در این زمینه فراهم می‌سازد.

به طور خلاصه، این مقاله با ارائه راهکارهای عملی و تحلیل‌های دقیق، دانش موجود در زمینه کدگذاری موقعیت در ترانسفورمرهای بینایی را ارتقا داده و امکان بهبود عملکرد مدل‌ها در کاربردهای عملی را فراهم می‌سازد.