در سال‌های اخیر، مدل‌های زبان بزرگ (LLMs) مبتنی بر معماری ترنسفورمر (Transformer) انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با آموزش روی حجم عظیمی از داده‌های متنی، توانایی خارق‌العاده‌ای در درک و تولید زبان انسان کسب می‌کنند. فرآیند استاندارد استفاده از این مدل‌ها شامل دو مرحله است: ابتدا «پیش‌آموزش» (Pre-training) روی داده‌های عمومی و سپس «تنظیم دقیق» (Fine-tuning) روی داده‌های خاص یک وظیفه مشخص (مانند تحلیل احساسات یا پاسخ به پرسش).

با این حال، مرحله تنظیم دقیق، علی‌رغم کارایی بالا، با چالش‌های جدی روبروست. دو مورد از مهم‌ترین این چالش‌ها عبارتند از بیش‌برازش (Over-fitting) و فروپاشی بازنمایی (Representation Collapse). بیش‌برازش زمانی رخ می‌دهد که مدل به جای یادگیری الگوهای کلی، داده‌های آموزشی را حفظ می‌کند و در نتیجه عملکرد آن روی داده‌های جدید افت می‌کند. فروپاشی بازنمایی نیز به پدیده‌ای اشاره دارد که در آن، بازنمایی‌های تولید شده توسط لایه‌های مختلف مدل، شباهت زیادی به هم پیدا کرده و تنوع اطلاعاتی خود را از دست می‌دهند.

مقاله “HyPe: Better Pre-trained Language Model Fine-tuning with Hidden Representation Perturbation” یک راه‌حل ساده، نوآورانه و در عین حال بسیار مؤثر برای مقابله با این مشکلات ارائه می‌دهد. این مقاله روشی به نام HyPe را معرفی می‌کند که با ایجاد اغتشاش (Perturbation) هدفمند در بازنمایی‌های پنهان لایه‌های ترنسفورمر، پایداری و قدرت تعمیم‌پذیری مدل را در فرآیند تنظیم دقیق به شکل چشمگیری افزایش می‌دهد. اهمیت این مقاله در ارائه یک تکنیک کارآمد با سربار محاسباتی تقریباً صفر است که می‌تواند به راحتی در خطوط لوله موجود NLP ادغام شود.

این مقاله توسط تیمی از محققان برجسته به نام‌های هانگی یوان (Hongyi Yuan)، ژنگ یوان (Zheng Yuan)، چوانچی تان (Chuanqi Tan)، فی هوانگ (Fei Huang) و سانگ‌فانگ هوانگ (Songfang Huang) به نگارش درآمده است. این پژوهش در حوزه «محاسبات و زبان» (Computation and Language) قرار می‌گیرد که شاخه‌ای میان‌رشته‌ای از علوم کامپیوتر و زبان‌شناسی است و بر توسعه روش‌های محاسباتی برای درک و پردازش زبان انسان تمرکز دارد.

تحقیق حاضر بر پایه کارهای پیشین در زمینه روش‌های «تنظیم‌گری» (Regularization) در یادگیری عمیق بنا شده است. روش‌های تنظیم‌گری با هدف جلوگیری از بیش‌برازش و بهبود تعمیم‌پذیری مدل‌ها طراحی می‌شوند. نویسندگان با درک عمیق از معماری ترنسفورمر، استدلال می‌کنند که روش‌های موجود که تنها ورودی یا پارامترهای مدل را دچار اغتشاش می‌کنند، کافی نیستند و اغتشاش در سطح بازنمایی‌های پنهان می‌تواند نتایج به مراتب بهتری به همراه داشته باشد.

مدل‌های زبان مبتنی بر ترنسفورمر عملکرد فوق‌العاده‌ای در وظایف پردازش زبان طبیعی از خود نشان داده‌اند. با این وجود، فرآیند تنظیم دقیق این مدل‌ها بر روی وظایف پایین‌دستی (downstream tasks) همچنان با مشکلاتی مانند بیش‌برازش یا فروپاشی بازنمایی مواجه است. در این پژوهش، ما HyPe را معرفی می‌کنیم؛ یک تکنیک تنظیم دقیق ساده اما مؤثر که با ایجاد اغتشاش در بازنمایی‌های پنهان لایه‌های ترنسفورمر، این مشکلات را کاهش می‌دهد.

برخلاف کارهای قبلی که تنها نویز را به ورودی‌ها یا پارامترها اضافه می‌کردند، ما معتقدیم که بازنمایی‌های پنهان لایه‌های ترنسفورمر حاوی اطلاعات زبانی متنوع‌تر و معنادارتری هستند. بنابراین، مقاوم‌سازی لایه‌های ترنسفورمر در برابر اغتشاشات بازنمایی پنهان می‌تواند به طور کلی به سود فرآیند تنظیم دقیق مدل‌های زبان از پیش آموزش‌دیده (PLMs) باشد. ما آزمایش‌ها و تحلیل‌های گسترده‌ای را روی مجموعه داده‌های GLUE و دیگر مجموعه داده‌های استنتاج زبان طبیعی انجام دادیم. نتایج نشان می‌دهد که HyPe از تنظیم دقیق استاندارد عملکرد بهتری دارد و تعمیم‌پذیری بازنمایی‌های پنهان لایه‌های مختلف را بهبود می‌بخشد. علاوه بر این، HyPe سربار محاسباتی ناچیزی دارد و نسبت به تکنیک‌های پیشرفته قبلی برتری داشته و با آن‌ها سازگار است.

ایده اصلی HyPe بر یک فرضیه کلیدی استوار است: بازنمایی‌های پنهان (Hidden Representations) در لایه‌های میانی یک مدل ترنسفورمر، حامل غنی‌ترین اطلاعات معنایی و نحوی هستند. این بازنمایی‌ها، بردارهایی عددی هستند که خروجی هر لایه را تشکیل می‌دههند و به عنوان ورودی برای لایه بعدی عمل می‌کنند. روش HyPe با افزودن یک نویز کوچک و کنترل‌شده به این بردارها در طول فرآیند آموزشِ تنظیم دقیق، مدل را وادار به یادگیری ویژگی‌های پایدارتر و قوی‌تر (Robust) می‌کند.

فرآیند کار به این صورت است:

• انتخاب لایه‌ها: HyPe می‌تواند روی خروجی تمام لایه‌های ترنسفورمر یا زیرمجموعه‌ای از آن‌ها اعمال شود.
• تولید اغتشاش: در هر مرحله از آموزش، پس از محاسبه خروجی یک لایه (h)، یک بردار نویز کوچک (ε) – معمولاً از توزیع گوسی – تولید می‌شود.
• اعمال اغتشاش: بردار نویز به خروجی لایه اضافه می‌شود: (h’ = h + ε).
• ادامه فرآیند: این بازنمایی جدید و «آشفته» (Perturbed) به عنوان ورودی به لایه بعدی داده می‌شود.

این کار ساده، مدل را مجبور می‌کند که صرفاً به مقادیر دقیق و خاص در بازنمایی‌های خود تکیه نکند، بلکه الگوهای کلی‌تری را بیاموزد که حتی در حضور نویز نیز پایدار باقی می‌مانند. این رویکرد به طور مؤثری از هم‌بستگی‌های کاذب (spurious correlations) در داده‌های آموزشی جلوگیری کرده و مانع از فروپاشی بازنمایی می‌شود، زیرا لایه‌های مختلف تشویق می‌شوند تا اطلاعات متمایزی را کدگذاری کنند.

مقایسه HyPe با روش‌های دیگر:

• اغتشاش ورودی (مانند R-Drop): این روش‌ها نویز را تنها به بردارهای ورودی (embeddings) اضافه می‌کنند. این کار مفید است، اما اطلاعات غنی موجود در لایه‌های عمیق‌تر را نادیده می‌گیرد.
• اغتشاش پارامتر: این روش‌ها مستقیماً وزن‌های مدل را تغییر می‌دهند که می‌تواند فرآیند بهینه‌سازی را ناپایدار کند.
• HyPe (اغتشاش بازنمایی پنهان): این روش مستقیماً بر روی جریان اطلاعات بین لایه‌ها تأثیر می‌گذارد و بدون دستکاری پارامترهای اصلی، مدل را به سمت یادگیری بازنمایی‌های قوی‌تر سوق می‌دهد.

نویسندگان برای ارزیابی عملکرد HyPe، آن را روی مجموعه وظایف استاندارد GLUE (General Language Understanding Evaluation) و دیگر مجموعه داده‌های استنتاج زبان طبیعی (NLI) آزمایش کردند. نتایج به دست آمده بسیار چشمگیر و مؤید کارایی این روش است:

• برتری بر تنظیم دقیق استاندارد: HyPe به طور مداوم و در تمام وظایف مورد آزمایش، عملکردی بهتر از روش تنظیم دقیق معمولی (vanilla fine-tuning) از خود نشان داد. این بهبود به ویژه در مجموعه داده‌های کوچک‌تر، که خطر بیش‌برازش در آن‌ها بیشتر است، مشهودتر بود.
• بهبود تعمیم‌پذیری: تحلیل بازنمایی‌های پنهان نشان داد که با استفاده از HyPe، فاصله معنایی بین بازنمایی‌های لایه‌های مختلف افزایش می‌یابد. این بدان معناست که هر لایه اطلاعات منحصربه‌فردی را یاد می‌گیرد و از پدیده «فروپاشی بازنمایی» جلوگیری می‌شود. در نتیجه، مدل توانایی تعمیم بهتری به داده‌های نادیده پیدا می‌کند.
• سربار محاسباتی ناچیز: افزودن یک بردار نویز یک عملیات ریاضی بسیار سبک است و زمان آموزش را تقریباً افزایش نمی‌دهد. این ویژگی HyPe را به یک گزینه بسیار جذاب برای کاربردهای عملی تبدیل می‌کند، جایی که سرعت و بهره‌وری محاسباتی اهمیت بالایی دارد.
• سازگاری با سایر تکنیک‌ها: یکی از نقاط قوت HyPe این است که یک روش مکمل محسوب می‌شود. نویسندگان نشان دادند که ترکیب HyPe با سایر تکنیک‌های پیشرفته تنظیم دقیق (مانند بهینه‌سازهای هوشمند یا روش‌های دیگر تنظیم‌گری) می‌تواند به نتایج بهتری منجر شود. این یعنی HyPe یک ابزار انعطاف‌پذیر است که می‌تواند به جعبه ابزار هر متخصص NLP اضافه شود.

دستاوردهای مقاله HyPe فراتر از یک بهبود آکادمیک است و کاربردهای عملی گسترده‌ای دارد. هر جا که از مدل‌های زبان از پیش آموزش‌دیده برای یک وظیفه خاص استفاده می‌شود، HyPe می‌تواند به عنوان یک افزونه ساده و کارآمد برای بهبود نتایج به کار رود.

برخی از کاربردهای بالقوه عبارتند از:

• تحلیل احساسات و دسته‌بندی متن: افزایش دقت مدل در تشخیص احساسات نظرات کاربران یا دسته‌بندی اسناد.
• سیستم‌های پرسش و پاسخ: بهبود توانایی مدل در درک سؤال و استخراج پاسخ دقیق از متن.
• استنتاج زبان طبیعی (NLI): افزایش قابلیت اطمینان مدل در تشخیص روابط منطقی بین جملات (تأیید، تناقض، عدم ارتباط).
• ترجمه ماشینی و خلاصه‌سازی متن: تولید خروجی‌های با کیفیت‌تر با جلوگیری از یادگیری الگوهای سطحی در داده‌های آموزشی.

بزرگترین دستاورد این تحقیق، ارائه یک راهکار عملی برای یکی از چالش‌های بنیادین در استفاده از مدل‌های زبان بزرگ است. HyPe نشان می‌دهد که گاهی اوقات، یک ایده ساده و هوشمندانه می‌تواند تأثیری بزرگ‌تر از معماری‌های پیچیده‌تر داشته باشد. این روش به محققان و مهندسان اجازه می‌دهد تا با حداقل تغییرات و بدون نیاز به منابع محاسباتی اضافی، مدل‌های قوی‌تر و پایدارتری بسازند.

مقاله “HyPe” با معرفی یک تکنیک نوین و مؤثر برای تنظیم دقیق مدل‌های زبان، گامی مهم در جهت افزایش پایداری و کارایی این مدل‌ها برداشته است. این روش با تمرکز بر اغتشاش بازنمایی‌های پنهان، به جای ورودی یا پارامترها، مستقیماً قلب پردازش اطلاعات در شبکه‌های ترنسفورمر را هدف قرار می‌دهد. این رویکرد هوشمندانه منجر به جلوگیری از بیش‌برازش، مقابله با فروپاشی بازنمایی و در نهایت، بهبود قدرت تعمیم‌پذیری مدل می‌شود.

HyPe با سادگی پیاده‌سازی، سربار محاسباتی ناچیز و سازگاری بالا، خود را به عنوان یک ابزار استاندارد بالقوه برای فرآیند تنظیم دقیق مدل‌های زبان مطرح می‌کند. نتایج تجربی قوی بر روی معیارهای معتبر، کارایی این روش را به اثبات می‌رساند و مسیرهای جدیدی را برای توسعه تکنیک‌های تنظیم‌گری در حوزه یادگیری عمیق و پردازش زبان طبیعی باز می‌کند.