در سال‌های اخیر، معماری ترنسفورمر (Transformer) به یک جزء جدایی‌ناپذیر در حوزه پردازش زبان طبیعی (NLP) تبدیل شده است. این معماری، با توانایی بی‌نظیر خود در یادگیری وابستگی‌های دوربرد بین کلمات در یک متن، انقلابی در بسیاری از وظایف NLP مانند ترجمه ماشینی، خلاصه‌سازی متن، و پاسخ به سؤالات ایجاد کرده است. با این حال، درک عمیق از چگونگی عملکرد داخلی این مدل‌های پیچیده هنوز یک چالش مهم است. مقاله حاضر، با عنوان “گنجاندن لایه‌های رزیدوال و نرمال‌سازی در تحلیل مدل‌های زبانی پوشیده” به بررسی عمیق‌تر اجزای مختلف بلوک توجه (Attention Block) در معماری ترنسفورمر، به ویژه لایه‌های رزیدوال (Residual) و نرمال‌سازی (Normalization)، می‌پردازد و نقش آن‌ها را در عملکرد مدل‌های زبانی پوشیده (Masked Language Models) تحلیل می‌کند.

همانطور که اشاره شد، مدل‌های مبتنی بر ترنسفورمر به طور گسترده‌ای در پردازش زبان طبیعی مورد استفاده قرار می‌گیرند. محققان برای تفسیر این مدل‌ها، الگوهای توجه (Attention Patterns) آن‌ها را به طور گسترده مورد تجزیه و تحلیل قرار داده‌اند. با این حال، معماری ترنسفورمر تنها از مکانیسم توجه چند-سر (Multi-Head Attention) تشکیل نشده است. سایر اجزا نیز می‌توانند در عملکرد تدریجی ترنسفورمرها نقش داشته باشند. این مقاله با فراتر رفتن از تحلیل صرف الگوهای توجه، بلوک توجه را به صورت جامع‌تری شامل توجه چند-سر، اتصال رزیدوال و نرمال‌سازی لایه در نظر می‌گیرد. این رویکرد جدید، دیدگاه جامع‌تری در مورد چگونگی عملکرد مدل‌های ترنسفورمر ارائه می‌دهد.

اهمیت این مقاله در این است که با بررسی نقش لایه‌های رزیدوال و نرمال‌سازی، نشان می‌دهد که تعامل توکن-به-توکن (Token-to-Token) که از طریق مکانیسم توجه انجام می‌شود، در مقایسه با آنچه قبلاً تصور می‌شد، تأثیر کمتری بر روی بازنمایی‌های میانی (Intermediate Representations) دارد. این یافته، فرضیات قبلی در مورد نقش محوری مکانیسم توجه را به چالش می‌کشد و نشان می‌دهد که سایر اجزای معماری ترنسفورمر نیز نقش مهمی در عملکرد کلی مدل ایفا می‌کنند. درک این نقش، می‌تواند به طراحی مدل‌های کارآمدتر و قابل‌تفسیرتر در آینده کمک کند.

این مقاله توسط گروهی از محققان برجسته در حوزه پردازش زبان طبیعی، به نام‌های گورو کوبایاشی (Goro Kobayashi)، تاتسوکی کوریبایاشی (Tatsuki Kuribayashi)، شو یوکوی (Sho Yokoi) و کنتارو اینویی (Kentaro Inui)، نگاشته شده است. این محققان دارای سابقه طولانی در زمینه یادگیری عمیق و پردازش زبان طبیعی هستند و تحقیقات آن‌ها به طور مداوم در کنفرانس‌ها و مجلات معتبر این حوزه منتشر می‌شود. زمینه تخصصی این محققان، درک و بهبود عملکرد مدل‌های زبانی بزرگ و معماری‌های عصبی پیشرفته است. تحقیقات آن‌ها اغلب بر روی تفسیرپذیری (Interpretability) مدل‌ها و یافتن راه‌هایی برای افزایش کارایی و پایداری آن‌ها متمرکز است.

این پژوهش در دسته محاسبات و زبان (Computation and Language) طبقه‌بندی می‌شود و بر روی مدل‌های زبانی پوشیده مبتنی بر ترنسفورمر تمرکز دارد. هدف اصلی این تحقیق، بررسی و تحلیل نقش اجزای مختلف معماری ترنسفورمر در عملکرد مدل‌های زبانی پوشیده است.

چکیده این مقاله به شرح زیر است:

معماری ترنسفورمر در حوزه پردازش زبان طبیعی بسیار رایج شده است. برای تفسیر مدل‌های مبتنی بر ترنسفورمر، الگوهای توجه آن‌ها به طور گسترده مورد تجزیه و تحلیل قرار گرفته‌اند. با این حال، معماری ترنسفورمر تنها از توجه چند-سر تشکیل نشده است. سایر اجزا نیز می‌توانند در عملکرد پیشرونده ترنسفورمرها نقش داشته باشند. در این مطالعه، ما دامنه تحلیل ترنسفورمرها را از صرفاً الگوهای توجه به کل بلوک توجه، یعنی توجه چند-سر، اتصال رزیدوال و نرمال‌سازی لایه گسترش دادیم. تجزیه و تحلیل ما از مدل‌های زبانی پوشیده مبتنی بر ترنسفورمر نشان می‌دهد که تعامل توکن-به-توکن که از طریق توجه انجام می‌شود، تأثیر کمتری بر روی بازنمایی‌های میانی نسبت به آنچه قبلاً تصور می‌شد، دارد. این نتایج، توضیحات شهودی جدیدی برای گزارش‌های موجود ارائه می‌دهد. به عنوان مثال، حذف الگوهای توجه آموخته شده، تمایلی به تأثیر نامطلوب بر عملکرد ندارد. کد آزمایش‌های ما به صورت عمومی در دسترس است.

به طور خلاصه، این مقاله به این نتیجه می‌رسد که نقش لایه‌های رزیدوال و نرمال‌سازی در عملکرد مدل‌های زبانی پوشیده مبتنی بر ترنسفورمر، بیشتر از آن چیزی است که قبلاً تصور می‌شد و مکانیسم توجه، به تنهایی، مسئول عملکرد بالای این مدل‌ها نیست.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

• انتخاب مدل‌های زبانی پوشیده: ابتدا، تعدادی مدل زبانی پوشیده مبتنی بر معماری ترنسفورمر انتخاب شدند. این مدل‌ها معمولاً بر روی مجموعه‌داده‌های بزرگ متنی آموزش داده می‌شوند و قادر به پیش‌بینی کلمات حذف شده در یک جمله هستند.
• تجزیه و تحلیل بلوک توجه: سپس، بلوک توجه در این مدل‌ها به دقت مورد بررسی قرار گرفت. این بررسی شامل تحلیل نحوه عملکرد مکانیسم توجه چند-سر، لایه‌های رزیدوال و نرمال‌سازی بود.
• ایجاد اختلال در اجزای مختلف: برای درک بهتر نقش هر یک از اجزا، محققان به صورت مصنوعی در عملکرد آن‌ها اختلال ایجاد کردند. به عنوان مثال، الگوهای توجه آموخته شده را حذف کردند یا لایه‌های رزیدوال را غیرفعال نمودند.
• ارزیابی عملکرد مدل: پس از ایجاد اختلال، عملکرد مدل را بر روی یک مجموعه داده ارزیابی (Evaluation Dataset) سنجیدند. این ارزیابی به آن‌ها کمک کرد تا میزان تأثیر هر یک از اجزا را بر روی عملکرد کلی مدل تعیین کنند.
• تحلیل آماری نتایج: در نهایت، نتایج به دست آمده را با استفاده از روش‌های آماری تحلیل کردند تا نتایج معنادار و قابل اعتمادی به دست آورند.

برای مثال، یکی از آزمایش‌های کلیدی این تحقیق، حذف الگوهای توجه آموخته شده در یک مدل زبانی پوشیده و جایگزینی آن‌ها با الگوهای تصادفی بود. اگر مکانیسم توجه واقعاً نقش محوری در عملکرد مدل ایفا می‌کرد، انتظار می‌رفت که عملکرد مدل پس از این تغییر به طور قابل توجهی کاهش یابد. با این حال، نتایج نشان داد که این کاهش عملکرد، به اندازه مورد انتظار نیست، که این امر نشان می‌دهد که سایر اجزای معماری ترنسفورمر، در جبران این نقصان نقش دارند.

مهم‌ترین یافته‌های این تحقیق عبارتند از:

• تأثیر کم مکانیسم توجه: تعامل توکن-به-توکن که از طریق مکانیسم توجه انجام می‌شود، تأثیر کمتری بر روی بازنمایی‌های میانی نسبت به آنچه قبلاً تصور می‌شد، دارد.
• نقش مهم لایه‌های رزیدوال: لایه‌های رزیدوال نقش مهمی در حفظ اطلاعات و جلوگیری از محو شدن گرادیان (Vanishing Gradient) در طول فرآیند آموزش دارند. این لایه‌ها، امکان عبور مستقیم اطلاعات از لایه‌های مختلف شبکه را فراهم می‌کنند و به مدل کمک می‌کنند تا وابستگی‌های دوربرد را به طور مؤثرتری یاد بگیرد.
• اهمیت نرمال‌سازی لایه: نرمال‌سازی لایه، باعث تثبیت فرآیند آموزش و بهبود عملکرد مدل می‌شود. این لایه‌ها، با نرمال‌سازی فعال‌سازی‌ها (Activations) در هر لایه، از بروز مشکلات ناشی از تغییر مقیاس فعال‌سازی‌ها جلوگیری می‌کنند و به مدل کمک می‌کنند تا با سرعت بیشتری به همگرایی برسد.
• حذف الگوهای توجه تأثیر چندانی ندارد: حذف الگوهای توجه آموخته شده، تمایلی به تأثیر نامطلوب بر عملکرد ندارد. این یافته، نشان می‌دهد که مدل می‌تواند با استفاده از سایر اجزای معماری، عملکرد خود را حفظ کند.

به عنوان مثال، محققان دریافتند که حذف الگوهای توجه آموخته شده در مدل BERT، تنها منجر به کاهش جزئی در دقت مدل می‌شود. این در حالی است که انتظار می‌رفت حذف این الگوها، تأثیر بسیار بیشتری بر روی عملکرد مدل داشته باشد. این یافته، به طور غیرمستقیم، نشان می‌دهد که سایر اجزای معماری، مانند لایه‌های رزیدوال و نرمال‌سازی، نقش مهمی در جبران این نقصان ایفا می‌کنند.

این تحقیق، کاربردها و دستاوردهای متعددی دارد:

• بهبود طراحی مدل‌های زبانی: درک نقش اجزای مختلف معماری ترنسفورمر، می‌تواند به طراحی مدل‌های زبانی کارآمدتر و بهینه‌تر کمک کند. با تمرکز بر روی اجزای کلیدی، می‌توان مدل‌هایی با عملکرد بهتر و پیچیدگی کمتر ایجاد کرد.
• افزایش تفسیرپذیری مدل‌ها: شناخت نقش لایه‌های رزیدوال و نرمال‌سازی، می‌تواند به افزایش تفسیرپذیری مدل‌های ترنسفورمر کمک کند. این امر، به محققان و مهندسان امکان می‌دهد تا درک بهتری از چگونگی عملکرد این مدل‌ها داشته باشند و بتوانند آن‌ها را به طور مؤثرتری عیب‌یابی و بهبود بخشند.
• ایجاد روش‌های جدید آموزش: نتایج این تحقیق، می‌تواند به ایجاد روش‌های جدید آموزش برای مدل‌های زبانی منجر شود. به عنوان مثال، می‌توان روش‌هایی را ابداع کرد که در آن‌ها، نقش لایه‌های رزیدوال و نرمال‌سازی به طور خاص تقویت شود.
• توضیح شهودی گزارش‌های موجود: این نتایج، توضیحات شهودی جدیدی برای گزارش‌های موجود ارائه می‌دهد. برای مثال، این یافته می‌تواند توضیح دهد که چرا دور انداختن الگوهای توجه آموخته شده، تمایلی به تأثیر نامطلوب بر عملکرد ندارد.

به طور مثال، یافته‌های این تحقیق می‌تواند در طراحی مدل‌های زبانی کوچکتر و سریع‌تر مورد استفاده قرار گیرد. با کاهش تأکید بر روی مکانیسم توجه و تقویت نقش لایه‌های رزیدوال و نرمال‌سازی، می‌توان مدل‌هایی را ایجاد کرد که با تعداد پارامترهای کمتر، عملکردی مشابه یا حتی بهتر از مدل‌های بزرگتر داشته باشند. این امر، به ویژه برای کاربردهایی که محدودیت منابع محاسباتی وجود دارد، بسیار حائز اهمیت است.

در مجموع، مقاله “گنجاندن لایه‌های رزیدوال و نرمال‌سازی در تحلیل مدل‌های زبانی پوشیده” یک گام مهم در راستای درک عمیق‌تر عملکرد مدل‌های زبانی مبتنی بر ترنسفورمر است. این تحقیق، با بررسی نقش اجزای مختلف بلوک توجه، نشان می‌دهد که مکانیسم توجه، به تنهایی، مسئول عملکرد بالای این مدل‌ها نیست و لایه‌های رزیدوال و نرمال‌سازی نیز نقش مهمی در این میان ایفا می‌کنند. یافته‌های این تحقیق، می‌تواند در طراحی مدل‌های زبانی کارآمدتر، قابل‌تفسیرتر و پایدارتر مورد استفاده قرار گیرد و به پیشرفت‌های آتی در حوزه پردازش زبان طبیعی کمک کند.

همچنین، در دسترس بودن کد آزمایش‌های این تحقیق به صورت عمومی، به سایر محققان امکان می‌دهد تا نتایج به دست آمده را تأیید کنند و تحقیقات بیشتری را در این زمینه انجام دهند. این امر، به تسریع فرآیند پیشرفت علمی در این حوزه کمک خواهد کرد.