در سال‌های اخیر، مدل‌های زبانی از پیش‌آموزش‌دیده (Pre-trained Language Models – PLMs) مانند BERT و GPT انقلابی در حوزه پردازش زبان طبیعی (NLP) ایجاد کرده‌اند. این مدل‌ها با آموزش روی حجم عظیمی از داده‌های متنی، توانایی فوق‌العاده‌ای در درک و تولید زبان انسان کسب کرده‌اند. با این حال، اکثر این مدل‌ها از طریق وظایف پیش‌آموزشی «ناآگاه از زبان‌شناسی» (linguistic-agnostic) مانند «مدل‌سازی زبان نقاب‌دار» (Masked Language Model – MLM) آموزش می‌بینند. در این روش، مدل یاد می‌گیرد کلمات حذف‌شده از متن را صرفاً بر اساس کلمات همسایه پیش‌بینی کند. این رویکرد اگرچه مؤثر است، اما اغلب منجر به درک سطحی از ساختارهای عمیق زبانی مانند نحو، دستور زبان و روابط معنایی بین کلمات می‌شود.

مقاله LERT: A Linguistically-motivated Pre-trained Language Model که توسط تیمی از پژوهشگران برجسته چینی ارائه شده است، پاسخی نوآورانه به این چالش می‌دهد. این مقاله یک مدل زبانی جدید به نام LERT را معرفی می‌کند که هدف آن، غنی‌سازی مدل‌های زبانی با دانش صریح زبان‌شناختی است. اهمیت این پژوهش در آن است که راهکاری ساده اما بسیار کارآمد برای تزریق دانش ساختاری زبان به معماری‌های عصبی عمیق ارائه می‌دهد. با این کار، LERT نه تنها درک بهتری از زبان پیدا می‌کند، بلکه در طیف وسیعی از وظایف فهم زبان طبیعی (NLU)، به ویژه برای زبان پیچیده‌ای مانند چینی، به عملکردی بالاتر از مدل‌های پیشین دست می‌یابد.

نویسندگان این مقاله، یمینگ سوی (Yiming Cui)، وان‌شیانگ چه (Wanxiang Che)، شیجین وانگ (Shijin Wang) و تینگ لیو (Ting Liu)، همگی از اعضای مرکز تحقیقات بازیابی اطلاعات در مؤسسه فناوری هاربین (Harbin Institute of Technology) هستند. این مرکز یکی از معتبرترین و پیشروترین آزمایشگاه‌های تحقیقاتی در زمینه پردازش زبان طبیعی در جهان، به خصوص در حوزه زبان چینی، به شمار می‌رود.

یمینگ سوی، نویسنده اصلی مقاله، چهره‌ای شناخته‌شده در توسعه مدل‌های زبانی برای زبان چینی است و پیش از این نیز مدل‌های موفقی مانند MacBERT و Chinese-BERT-WWM را معرفی کرده بود. این پیشینه غنی نشان می‌دهد که تیم تحقیقاتی درک عمیقی از چالش‌ها و فرصت‌های موجود در زمینه بهبود مدل‌های زبانی داشته و مقاله LERT حاصل تلاشی هدفمند برای رفع محدودیت‌های نسل قبلی این مدل‌هاست.

مقاله LERT یک مدل زبانی از پیش‌آموزش‌دیده را پیشنهاد می‌کند که با استفاده از یک استراتژی نوآورانه به نام «پیش‌آموزش آگاه از زبان‌شناسی» (Linguistically-Informed Pre-training – LIP) آموزش داده شده است. برخلاف مدل‌های استاندارد که تنها بر وظیفه MLM تمرکز دارند، LERT به طور همزمان چهار وظیفه را یاد می‌گیرد: وظیفه اصلی MLM و سه وظیفه کمکی مبتنی بر ویژگی‌های زبان‌شناختی.

ایده اصلی این است که با وادار کردن مدل به یادگیری صریح ساختارهای زبانی، بازنمایی‌های داخلی (internal representations) آن غنی‌تر و دقیق‌تر می‌شود. این سه وظیفه کمکی، جنبه‌های مختلفی از زبان را پوشش می‌دهند: تشخیص موجودیت‌های نام‌دار (NER) برای درک مفاهیم چندکلمه‌ای، برچسب‌گذاری اجزای کلام (POS) برای درک نقش دستوری کلمات، و تجزیه وابستگی (Dependency Parsing) برای درک روابط نحوی بین کلمات در جمله. نویسندگان با انجام آزمایش‌های گسترده بر روی ده وظیفه استاندارد فهم زبان طبیعی چینی، نشان دادند که LERT به طور قابل توجهی از مدل‌های پایه قدرتمند مانند BERT و RoBERTa عملکرد بهتری دارد. علاوه بر این، تحلیل‌های دقیق نشان داد که طراحی LERT واقعاً به یادگیری ویژگی‌های زبان‌شناختی منجر شده و این یادگیری دلیل اصلی برتری آن است.

معماری اصلی LERT بر پایه مدل‌های ترنسفورمر استاندارد (مانند BERT) بنا شده است، اما نوآوری کلیدی آن در فرآیند پیش‌آموزش و استراتژی LIP نهفته است. در این استراتژی، مدل به صورت چندوظیفه‌ای (multi-task) آموزش می‌بیند و تابع هزینه (Loss Function) نهایی، ترکیبی از هزینه چهار وظیفه زیر است:

• مدل‌سازی زبان نقاب‌دار (MLM): این وظیفه مشابه BERT استاندارد است و به مدل کمک می‌کند تا دانش کلی زبان را از داده‌های خام بیاموزد.
• وظیفه تشخیص موجودیت‌های نام‌دار (NER): در این وظیفه، به جای نقاب‌گذاری کلمات منفرد، کل یک موجودیت نام‌دار (مانند نام یک شخص، سازمان یا مکان) نقاب‌گذاری می‌شود. برای مثال، جمله «دانشگاه صنعتی شریف در تهران قرار دارد» به «[MASK] در [MASK] قرار دارد» تبدیل می‌شود. مدل باید بتواند موجودیت‌های کامل «دانشگاه صنعتی شریف» و «تهران» را پیش‌بینی کند. این کار به مدل می‌آموزد که واحدهای معنایی چندکلمه‌ای را به عنوان یک مفهوم یکپارچه درک کند.
• وظیفه برچسب‌گذاری اجزای کلام (POS Tagging): در کنار پیش‌بینی کلمه نقاب‌دار، مدل باید نقش دستوری آن (اسم، فعل، صفت و…) را نیز پیش‌بینی کند. این وظیفه مدل را وادار می‌کند تا به ساختار گرامری جمله توجه کرده و درکی از نقش هر کلمه در جمله به دست آورد.
• وظیفه تجزیه وابستگی (Dependency Parsing): این پیچیده‌ترین و در عین حال قدرتمندترین وظیفه کمکی است. تجزیه وابستگی، روابط سلسله‌مراتبی و دستوری بین کلمات را مشخص می‌کند (مثلاً کدام کلمه فاعل کدام فعل است). در این وظیفه، برای هر کلمه، مدل باید «سر» (head) دستوری آن و نوع رابطه وابستگی را پیش‌بینی کند. برای مثال، در جمله «دانشجو کتاب را خواند»، مدل یاد می‌گیرد که «دانشجو» فاعل (nsubj) فعل «خواند» است. این دانش عمیق نحوی به مدل اجازه می‌دهد تا ساختار معنایی جملات پیچیده را بهتر درک کند.

با بهینه‌سازی همزمان این چهار هدف، LERT بازنمایی‌های برداری‌ای تولید می‌کند که نه تنها از نظر معنایی غنی هستند، بلکه از نظر ساختاری و دستوری نیز اطلاعات ارزشمندی را در خود جای داده‌اند.

نتایج تجربی مقاله به وضوح اثربخشی رویکرد LERT را نشان می‌دهد. در ارزیابی روی مجموعه داده‌های استاندارد فهم زبان چینی (مانند بنچمارک CLUE)، LERT توانست در ده وظیفه مختلف از جمله تحلیل احساسات، طبقه‌بندی متن، و پاسخ به پرسش، از مدل‌های رقیب قدرتمندی مانند BERT-wwm-ext و MacBERT پیشی بگیرد.

یکی از مهم‌ترین بخش‌های مقاله، «مطالعات حذف» (Ablation Studies) است. در این آزمایش‌ها، نویسندگان نسخه‌های مختلفی از LERT را آموزش دادند که در هر کدام، یکی از وظایف زبان‌شناختی حذف شده بود. نتایج نشان داد که هر سه وظیفه کمکی (NER، POS و تجزیه وابستگی) در بهبود عملکرد نهایی نقش مثبتی دارند و حذف هر یک از آنها منجر به افت عملکرد می‌شود. این یافته تأیید می‌کند که موفقیت LERT تصادفی نبوده و مستقیماً به استراتژی LIP مرتبط است.

علاوه بر نتایج کمی، نویسندگان با استفاده از تکنیک‌های «کاوش» (probing) نشان دادند که بازنمایی‌های داخلی LERT واقعاً دانش زبان‌شناختی را کدگذاری کرده‌اند. برای مثال، بردارهای کلمات تولید شده توسط LERT در مقایسه با BERT، برای پیش‌بینی برچسب‌های POS یا روابط وابستگی بسیار کارآمدتر بودند. این تحلیل کیفی ثابت می‌کند که LERT فقط یک «جعبه سیاه» با عملکرد بهتر نیست، بلکه مدلی است که درکی ساختاریافته‌تر و عمیق‌تر از زبان دارد.

دستاورد LERT فراتر از کسب امتیازات بالاتر در بنچمارک‌های دانشگاهی است. این مدل پتانسیل بهبود عملکرد سیستم‌های کاربردی NLP را در دنیای واقعی دارد:

• سیستم‌های پرسش و پاسخ و چت‌بات‌ها: با درک عمیق‌تر از ساختار نحوی سوالات، LERT می‌تواند پاسخ‌های دقیق‌تر و مرتبط‌تری تولید کند.
• تحلیل احساسات و نظرات: توانایی درک روابط بین کلمات به LERT کمک می‌کند تا احساسات بیان‌شده در جملات پیچیده و کنایه‌آمیز را بهتر تشخیص دهد.
• استخراج اطلاعات: درک موجودیت‌های نام‌دار و روابط بین آنها، LERT را به ابزاری قدرتمند برای استخراج اطلاعات ساختاریافته از متون بدون ساختار (مانند گزارش‌های خبری یا مقالات علمی) تبدیل می‌کند.
• ترجمه ماشینی: درک ساختار دستوری زبان مبدأ می‌تواند به تولید ترجمه‌هایی طبیعی‌تر و دقیق‌تر در زبان مقصد کمک کند.

از منظر علمی، بزرگترین دستاورد LERT ارائه یک چارچوب مؤثر برای ادغام دانش نمادین زبان‌شناسی با معماری‌های یادگیری عمیق است. این مقاله نشان می‌دهد که به جای تکیه صرف بر داده‌های خام، می‌توان با هدایت فرآیند یادگیری از طریق دانش زبان‌شناختی، به مدل‌هایی هوشمندتر و کارآمدتر دست یافت. این رویکرد، مسیری برای توسعه نسل بعدی مدل‌های زبانی باز می‌کند که درک عمیق‌تری از زبان انسان خواهند داشت.

مقاله LERT با معرفی استراتژی پیش‌آموزش آگاه از زبان‌شناسی (LIP)، گامی مهم در جهت رفع یکی از محدودیت‌های اساسی مدل‌های زبانی مدرن برداشته است. این مدل با آموزش همزمان وظایف تشخیص موجودیت، برچسب‌گذاری اجزای کلام و تجزیه وابستگی در کنار وظیفه استاندارد MLM، موفق به ایجاد بازنمایی‌های زبانی غنی‌تر و دقیق‌تری شده است.

نتایج تجربی قوی و تحلیل‌های عمیق نشان می‌دهند که LERT نه تنها در عملکرد برتر است، بلکه درک ساختاری بهتری از زبان دارد. این پژوهش راه را برای探索 رویکردهای مشابه در زبان‌های دیگر و همچنین ادغام انواع پیچیده‌تری از دانش زبان‌شناختی (مانند معناشناسی و کاربردشناسی) در مدل‌های آینده هموار می‌کند. LERT اثباتی است بر این ایده که ترکیب هوشمندانه دانش کلاسیک زبان‌شناسی و قدرت یادگیری عمیق، کلید دستیابی به فهم واقعی زبان طبیعی است.