در عصر حاضر، مدل‌های زبانی عصبی مبتنی بر ترانسفورمرها، به پیشرفت‌های چشمگیری در حوزه پردازش زبان طبیعی دست یافته‌اند. این مدل‌ها، با بهره‌گیری از حجم عظیمی از داده‌های آموزشی، توانسته‌اند در بسیاری از وظایف مربوط به درک و تولید زبان عملکردی قابل‌توجه از خود نشان دهند. با این حال، این موفقیت‌ها اغلب به قیمت نادیده گرفتن دانش صریح زبان‌شناسی حاصل شده‌اند و سوالاتی را در مورد ارتباط و اهمیت زبان‌شناسی برای پردازش زبان طبیعی مدرن مطرح کرده‌اند.

مقاله “تلفیق نظریه زبان‌شناسی و مدل‌های زبانی عصبی” به بررسی این شکاف و نشان دادن ارتباط و هم‌افزایی بین نظریه زبان‌شناسی و مدل‌های زبانی عصبی می‌پردازد. این مقاله، با ارائه مطالعات موردی متعدد، نشان می‌دهد که چگونه زبان‌شناسی نظری و مدل‌های زبانی عصبی می‌توانند مکمل یکدیگر باشند و به درک عمیق‌تری از زبان منجر شوند. اهمیت این مقاله در این است که به چالش‌های موجود در استفاده از مدل‌های زبانی بزرگ بدون دانش زبان‌شناسی می‌پردازد و راه‌هایی را برای بهبود این مدل‌ها با استفاده از اصول زبان‌شناسی ارائه می‌دهد.

این مقاله توسط بای لی (Bai Li) به رشته تحریر درآمده است و در زمینه محاسبات و زبان (Computation and Language) طبقه‌بندی می‌شود. زمینه تحقیقاتی نویسنده، تلفیق دانش زبان‌شناسی با مدل‌های یادگیری ماشین در پردازش زبان طبیعی است. ایشان در تلاش است تا نشان دهد که چگونه می‌توان از نظریه‌های زبان‌شناسی برای بهبود عملکرد و تفسیرپذیری مدل‌های زبانی عصبی استفاده کرد.

چکیده این مقاله به شرح زیر است:

مدل‌های زبانی مبتنی بر ترانسفورمر اخیراً به نتایج قابل توجهی در بسیاری از وظایف زبان طبیعی دست یافته اند. با این حال، عملکرد بالا در جدول امتیازات معمولاً با استفاده از مقادیر بسیار زیاد داده های آموزشی به دست می آید و به ندرت با رمزگذاری دانش زبانی صریح در مدل های عصبی. این موضوع باعث شده است که بسیاری در مورد ارتباط زبان شناسی برای پردازش زبان طبیعی مدرن شک کنند. در این رساله، من چندین مطالعه موردی را ارائه می دهم تا نشان دهم که چگونه زبان شناسی نظری و مدل های زبانی عصبی هنوز به یکدیگر مرتبط هستند. اولاً، مدل‌های زبانی برای زبان‌شناسان مفید هستند زیرا ابزاری عینی برای اندازه‌گیری فاصله معنایی فراهم می‌کنند، که انجام آن با استفاده از روش‌های سنتی دشوار است. از سوی دیگر، نظریه زبان شناسی با ارائه چارچوب ها و منابع داده به تحقیقات مدل سازی زبان کمک می کند تا مدل های زبانی خود را برای جنبه های خاصی از درک زبان بررسی کنیم. این پایان نامه سه مطالعه را ارائه می کند که جنبه های مختلف رابط نحو-معنا در مدل های زبان را بررسی می کنند. در بخش اول پایان نامه ام، مدل های زبانی را در مورد مسئله انعطاف پذیری طبقه کلمه به کار می برم. با استفاده از mBERT به عنوان منبعی از اندازه گیری های فاصله معنایی، شواهدی را در حمایت از تجزیه و تحلیل انعطاف پذیری طبقه کلمه به عنوان یک فرآیند جهت دار ارائه می کنم. در بخش دوم پایان نامه ام، روشی برای اندازه گیری شگفتی در لایه های میانی مدل های زبان پیشنهاد می کنم. آزمایش‌های من نشان می‌دهد که جملاتی که حاوی ناهنجاری‌های صرفی نحوی هستند، شگفتی‌ها را زودتر در مدل‌های زبان نسبت به ناهنجاری‌های معنایی و عقل سلیم ایجاد می‌کنند. در نهایت، در بخش سوم پایان نامه ام، چندین مطالعه روان‌شناسی زبان را تطبیق می‌دهم تا نشان دهم که مدل‌های زبان حاوی دانش ساختارهای استدلال هستند. در مجموع، پایان نامه من ارتباطات جدیدی بین پردازش زبان طبیعی، نظریه زبان شناسی و روان‌شناسی زبان ایجاد می کند تا دیدگاه های جدیدی را برای تفسیر مدل های زبان ارائه دهد.

به طور خلاصه، این مقاله به بررسی نقش و جایگاه دانش زبان‌شناسی در طراحی و ارزیابی مدل‌های زبانی عصبی می‌پردازد. نویسنده با ارائه سه مطالعه موردی، نشان می‌دهد که چگونه می‌توان از مدل‌های زبانی برای حل مسائل زبان‌شناسی استفاده کرد و در مقابل، چگونه دانش زبان‌شناسی می‌تواند به بهبود درک زبان در مدل‌های عصبی کمک کند.

روش‌شناسی تحقیق در این مقاله شامل ترکیبی از روش‌های محاسباتی و زبان‌شناسی است. نویسنده از مدل زبانی mBERT به عنوان ابزاری برای اندازه‌گیری فاصله معنایی بین کلمات استفاده می‌کند. همچنین، روشی برای اندازه‌گیری شگفتی (Surprisal) در لایه‌های میانی مدل‌های زبانی پیشنهاد می‌دهد که امکان بررسی عمیق‌تر فرآیندهای درونی این مدل‌ها را فراهم می‌کند. علاوه بر این، نویسنده مطالعات روان‌شناسی زبان را اقتباس کرده و از آن‌ها برای بررسی دانش ساختارهای استدلال (Argument Structure Constructions) در مدل‌های زبانی استفاده می‌کند.

• اندازه‌گیری فاصله معنایی با mBERT: استفاده از mBERT برای تعیین میزان شباهت معنایی بین کلمات مختلف و بررسی انعطاف‌پذیری طبقه کلمه. برای مثال، بررسی اینکه آیا یک کلمه می‌تواند به طور پیوسته از یک طبقه دستوری به طبقه دیگر تبدیل شود.
• اندازه‌گیری شگفتی در لایه‌های میانی: بررسی اینکه در کدام لایه از مدل زبانی، ناهنجاری‌های زبانی (نحوی، معنایی، و عقل سلیم) شناسایی می‌شوند. این روش به درک بهتر نحوه پردازش زبان در مدل‌های عصبی کمک می‌کند.
• اقتباس از مطالعات روان‌شناسی زبان: استفاده از آزمایش‌های روان‌شناسی زبان برای بررسی اینکه آیا مدل‌های زبانی دانش ساختارهای استدلال (مانند فاعل، فعل، مفعول) را در خود جای داده‌اند.

یافته‌های کلیدی این مقاله عبارتند از:

• انعطاف‌پذیری طبقه کلمه به عنوان یک فرآیند جهت‌دار: نتایج نشان می‌دهند که تغییر طبقه کلمه در زبان، یک فرآیند تصادفی نیست، بلکه دارای یک جهت خاص است. به عبارت دیگر، برخی از تغییرات دستوری محتمل‌تر از سایرین هستند.
• تشخیص ناهنجاری‌های صرفی نحوی در لایه‌های اولیه مدل: مدل‌های زبانی قادرند ناهنجاری‌های صرفی نحوی (مانند اشتباهات در صرف فعل یا مطابقت اسم و صفت) را زودتر از ناهنجاری‌های معنایی شناسایی کنند. این نشان می‌دهد که مدل‌ها ابتدا به ساختار زبانی توجه می‌کنند و سپس به معنای آن می‌پردازند.
• وجود دانش ساختارهای استدلال در مدل‌های زبانی: مدل‌های زبانی دارای دانش ضمنی از ساختارهای استدلال هستند و می‌توانند نقش‌های معنایی (مانند عامل، مفعول، و غیره) را در جملات تشخیص دهند.

به عنوان مثال، در مورد انعطاف‌پذیری طبقه کلمه، مقاله نشان می‌دهد که فعل‌ها بیشتر به اسم تبدیل می‌شوند تا برعکس. این یافته با نظریه‌های زبان‌شناسی شناختی همخوانی دارد.

این مقاله دارای کاربردها و دستاوردهای متعددی است:

• ارائه ابزاری عینی برای اندازه‌گیری فاصله معنایی: زبان‌شناسان می‌توانند از مدل‌های زبانی برای اندازه‌گیری فاصله معنایی بین کلمات و عبارات استفاده کنند. این امر به آن‌ها کمک می‌کند تا فرضیه‌های زبان‌شناسی خود را به صورت دقیق‌تری آزمایش کنند.
• بهبود طراحی مدل‌های زبانی: یافته‌های این مقاله می‌تواند به طراحان مدل‌های زبانی کمک کند تا مدل‌هایی بسازند که درک بهتری از زبان داشته باشند و به طور موثرتری از دانش زبان‌شناسی استفاده کنند.
• ارائه چارچوبی برای ارزیابی مدل‌های زبانی: این مقاله چارچوبی را برای ارزیابی مدل‌های زبانی ارائه می‌دهد که بر جنبه‌های خاصی از درک زبان تمرکز دارد، مانند توانایی تشخیص ناهنجاری‌های زبانی و درک ساختارهای استدلال.

به طور کلی، این مقاله گامی مهم در جهت تلفیق نظریه زبان‌شناسی و مدل‌های زبانی عصبی است و به درک عمیق‌تر زبان و بهبود عملکرد مدل‌های زبانی کمک می‌کند.

در نهایت، این مقاله نشان می‌دهد که نظریه زبان‌شناسی و مدل‌های زبانی عصبی نه تنها با یکدیگر مرتبط هستند، بلکه می‌توانند مکمل یکدیگر باشند. مدل‌های زبانی می‌توانند ابزاری قدرتمند برای زبان‌شناسان باشند، در حالی که دانش زبان‌شناسی می‌تواند به بهبود عملکرد و تفسیرپذیری مدل‌های زبانی کمک کند. این مقاله با ارائه مطالعات موردی متعدد، نشان می‌دهد که چگونه می‌توان از این هم‌افزایی برای حل مسائل زبان‌شناسی و بهبود درک زبان در مدل‌های عصبی استفاده کرد. تحقیقات آینده می‌تواند بر توسعه روش‌های جدید برای ادغام دانش زبان‌شناسی در مدل‌های زبانی و استفاده از مدل‌های زبانی برای حل مسائل پیچیده‌تر زبان‌شناسی تمرکز کند. امید است که این پژوهش دریچه‌ای نو به سوی درک بهتر ارتباط میان نظریه زبان‌شناسی و هوش مصنوعی باز کند و راه را برای توسعه مدل‌های زبانی هوشمندتر و کارآمدتر هموار سازد.