در دنیای پویای یادگیری ماشین و هوش مصنوعی، مدل‌های ترنسفورمر به عنوان یک نیروی دگرگون‌کننده ظاهر شده‌اند. این مدل‌ها که در اصل برای پردازش زبان طبیعی (NLP) توسعه یافته‌اند، به سرعت در حوزه‌های دیگر، از جمله بینایی کامپیوتر (CV)، نفوذ کرده‌اند. مقاله حاضر با عنوان “SoT: Delving Deeper into Classification Head for Transformer” به بررسی یک جنبه اغلب نادیده گرفته شده از این مدل‌ها می‌پردازد: سر دسته‌بندی (Classification Head). این مقاله با ارائه یک رویکرد نوین به نام ترنسفورمر مرتبه دوم (Second-Order Transformer – SoT)، سعی در بهبود عملکرد کلی مدل‌های ترنسفورمر با تمرکز بر سر دسته‌بندی دارد.

این تحقیق توسط Jiangtao Xie, Ruiren Zeng, Qilong Wang, Ziqi Zhou, Peihua Li انجام شده است. این محققان با تخصص در زمینه‌های بینایی کامپیوتر، پردازش زبان طبیعی و یادگیری ماشین، گرد هم آمده‌اند تا به بررسی یکی از چالش‌های مهم در معماری ترنسفورمر بپردازند. تمرکز اصلی این محققان بر بهبود نحوه استفاده از اطلاعات موجود در توکن‌های سطح بالا (High-Level Word Tokens) در فرآیند دسته‌بندی بوده است.

مقاله SoT با این ادعا شروع می‌شود که در طول سال‌ها، مدل‌های ترنسفورمر عمدتاً بر توکن دسته‌بندی (Classification Token) برای ساخت طبقه‌بندی‌کننده نهایی تکیه کرده‌اند و توجه کمی به بهره‌برداری از توکن‌های سطح بالای کلمات داشته‌اند. این مقاله نشان می‌دهد که توکن‌های سطح بالای کلمات حاوی اطلاعات غنی هستند که به خودی خود برای طبقه‌بندی‌کننده بسیار شایسته هستند و مهم‌تر از همه، مکمل توکن طبقه‌بندی هستند. برای استفاده موثر از چنین اطلاعات غنی، محققان روش Multi-Headed Global Cross-Covariance Pooling with Singular Value Power Normalization را پیشنهاد می‌کنند. این روش با فلسفه بلوک ترنسفورمر سازگار است و عملکرد بهتری نسبت به روش‌های معمول Pooling دارد. سپس، آنها به طور جامع بررسی می‌کنند که چگونه توکن‌های کلمه را به طور صریح با توکن طبقه‌بندی برای ساخت سر دسته‌بندی نهایی ترکیب کنند.

به طور خلاصه، این مقاله یک معماری جدید ترنسفورمر به نام SoT را معرفی می‌کند که با استفاده از توکن دسته‌بندی و توکن‌های کلمه به طور همزمان برای طبقه‌بندی، عملکرد را بهبود می‌بخشد. روش‌شناسی پیشنهادی شامل یک مکانیسم pooling جدید است که با معماری ترنسفورمر سازگار است و به طور موثر اطلاعات موجود در توکن‌های کلمه را استخراج می‌کند.

روش‌شناسی تحقیق در این مقاله شامل چندین مرحله کلیدی است:

• تجزیه و تحلیل تجربی: محققان با انجام آزمایش‌های تجربی نشان دادند که توکن‌های سطح بالای کلمات حاوی اطلاعات ارزشمندی هستند که می‌توانند به طور قابل توجهی عملکرد طبقه‌بندی را بهبود بخشند. این آزمایش‌ها با استفاده از مجموعه‌ای از داده‌های استاندارد و مدل‌های ترنسفورمر موجود انجام شده‌اند.
• معرفی معماری SoT: پس از شناسایی اهمیت توکن‌های کلمه، محققان معماری SoT را پیشنهاد کردند. این معماری شامل یک مکانیسم pooling جدید به نام Multi-Headed Global Cross-Covariance Pooling with Singular Value Power Normalization است که به طور خاص برای استخراج اطلاعات از توکن‌های کلمه طراحی شده است.
• ارزیابی و مقایسه: معماری SoT با استفاده از مجموعه‌ای از داده‌های استاندارد در حوزه‌های بینایی کامپیوتر و پردازش زبان طبیعی ارزیابی شد. عملکرد SoT با عملکرد مدل‌های ترنسفورمر موجود مقایسه شد تا اثربخشی آن نشان داده شود.
• Fine-tuning: برای ارزیابی عملکرد SoT در NLP، محققان از روش fine-tuning بر اساس مدل‌های از پیش آموزش‌دیده مانند GPT و BERT استفاده کردند.

یک مثال ملموس از این روش‌شناسی، استفاده از دیتاست ImageNet برای ارزیابی عملکرد SoT در بینایی کامپیوتر است. محققان SoT را با سایر مدل‌های پیشرفته در این دیتاست مقایسه کردند و نشان دادند که SoT به طور قابل توجهی از آنها بهتر عمل می‌کند.

یافته‌های کلیدی این تحقیق عبارتند از:

• اهمیت توکن‌های سطح بالای کلمات: این تحقیق نشان داد که توکن‌های سطح بالای کلمات حاوی اطلاعات غنی هستند که می‌توانند به طور قابل توجهی عملکرد طبقه‌بندی را بهبود بخشند.
• اثربخشی معماری SoT: معماری SoT با استفاده از یک مکانیسم pooling جدید، توانست به طور موثر اطلاعات موجود در توکن‌های کلمه را استخراج کند و عملکرد کلی مدل را بهبود بخشد.
• سازگاری با مدل‌های موجود: SoT به راحتی می‌تواند با مدل‌های ترنسفورمر موجود ادغام شود و عملکرد آنها را بهبود بخشد. این ویژگی SoT را به یک راه‌حل عملی و مقرون به صرفه برای بهبود عملکرد مدل‌های ترنسفورمر تبدیل می‌کند.
• بهبود چشمگیر در وظایف مختلف: SoT عملکرد قابل توجهی را در وظایف بینایی کامپیوتر (مانند ImageNet و ImageNet-A) و پردازش زبان طبیعی (مانند CoLA و RTE) به نمایش گذاشت.

به عنوان مثال، در وظیفه CoLA (Corpus of Linguistic Acceptability)، SoT توانست عملکرد مدل‌های BERT را به طور قابل توجهی بهبود بخشد.

نتایج این تحقیق دارای کاربردهای گسترده‌ای در حوزه‌های بینایی کامپیوتر و پردازش زبان طبیعی است. برخی از کاربردها و دستاوردهای کلیدی عبارتند از:

• بهبود عملکرد مدل‌های ترنسفورمر: SoT می‌تواند برای بهبود عملکرد مدل‌های ترنسفورمر در طیف گسترده‌ای از وظایف استفاده شود.
• توسعه مدل‌های هوش مصنوعی دقیق‌تر: با استفاده از SoT، می‌توان مدل‌های هوش مصنوعی دقیق‌تری را توسعه داد که قادر به درک و پردازش اطلاعات پیچیده به طور موثرتر باشند.
• پیشرفت در حوزه‌های بینایی کامپیوتر و پردازش زبان طبیعی: SoT می‌تواند به پیشرفت در حوزه‌های بینایی کامپیوتر و پردازش زبان طبیعی کمک کند و راه را برای توسعه برنامه‌های کاربردی جدید و نوآورانه هموار سازد.
• راهکاری برای استفاده از اطلاعات پنهان: SoT نشان می‌دهد که با تمرکز بر جنبه‌های کمتر مورد توجه مدل‌های ترنسفورمر، می‌توان به بهبود قابل توجهی در عملکرد دست یافت.

به عنوان مثال، SoT می‌تواند در سیستم‌های تشخیص تصویر برای تشخیص دقیق‌تر اشیاء در تصاویر استفاده شود. همچنین، می‌تواند در سیستم‌های ترجمه ماشینی برای تولید ترجمه‌های روان‌تر و دقیق‌تر مورد استفاده قرار گیرد.

مقاله “SoT: Delving Deeper into Classification Head for Transformer” یک گام مهم در جهت بهبود عملکرد مدل‌های ترنسفورمر است. این مقاله با ارائه یک رویکرد نوین به سر دسته‌بندی، نشان می‌دهد که با تمرکز بر جنبه‌های کمتر مورد توجه مدل‌های موجود، می‌توان به بهبود قابل توجهی در عملکرد دست یافت. معماری SoT با استفاده از یک مکانیسم pooling جدید، توانست به طور موثر اطلاعات موجود در توکن‌های سطح بالای کلمات را استخراج کند و عملکرد کلی مدل را در طیف گسترده‌ای از وظایف بهبود بخشد. این تحقیق نه تنها به پیشرفت در حوزه‌های بینایی کامپیوتر و پردازش زبان طبیعی کمک می‌کند، بلکه راه را برای توسعه مدل‌های هوش مصنوعی دقیق‌تر و کارآمدتر هموار می‌سازد. برای دسترسی به کد و اطلاعات بیشتر، می‌توانید به آدرس https://peihuali.org/SoT مراجعه کنید.