۱. معرفی مقاله و اهمیت آن

در دنیای پیشرفته پردازش زبان طبیعی (NLP)، درک چگونگی عملکرد مدل‌های پیچیده مانند بِرت (BERT) یک گام اساسی به سوی توسعه هوش مصنوعی قابل اعتماد و قابل تفسیر است. یکی از وظایف مهم در این حوزه، تشخیص پذیرش زبانی (Linguistic Acceptability) است؛ یعنی تعیین اینکه آیا یک جمله از نظر دستوری صحیح و قابل فهم است یا خیر. این قابلیت در کاربردهای حیاتی مانند پرسش و پاسخ، تولید زبان طبیعی، ترجمه ماشینی عصبی و حتی درک متون توسط ربات‌ها، نقشی محوری ایفا می‌کند. دقت در این زمینه مستقیماً بر کیفیت و کارایی سیستم‌های مبتنی بر زبان تأثیر می‌گذارد.

مقاله حاضر با عنوان «تبیین پذیرش زبانی آموخته‌شده توسط بِرت با گرادیان‌های یکپارچه و درخت‌های تجزیه سازه‌ای» به دنبال رمزگشایی از فرآیند تصمیم‌گیری مدل بِرت در تفکیک جملات پذیرفتنی زبانی (LA) از جملات غیرپذیرفتنی زبانی (LUA) است. این تحقیق با بهره‌گیری از روش‌های پیشرفته تفسیرپذیری مدل، به درک عمیق‌تری از معیارهای زبانی که بِرت از مجموعه داده CoLA (Corpus of Linguistic Acceptability) آموخته است، دست می‌یابد. هدف اصلی، ایجاد شفافیت در عملکرد مدل‌های زبان بزرگ و شناسایی نقاط قوت و ضعف آن‌ها در درک ساختار و قواعد زبان است.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط انمول نایک (Anmol Nayak) و هری پرساد تیمپاثینی (Hari Prasad Timmapathini) ارائه شده است. حوزه تحقیق آن‌ها در تقاطع محاسبات و زبان (Computation and Language) قرار دارد؛ شاخه‌ای از علوم کامپیوتر و زبان‌شناسی که به بررسی نحوه پردازش، تحلیل و تولید زبان توسط ماشین‌ها می‌پردازد.

نیاز به درک مدل‌های عمیق یادگیری در حوزه NLP، انگیزه اصلی پشت این تحقیق است. مدل‌های زبانی بزرگ مانند بِرت، با وجود توانایی‌های شگفت‌انگیز خود، اغلب به عنوان «جعبه سیاه» عمل می‌کنند. دانشمندان و مهندسان همواره به دنبال راه‌هایی برای فهم بهتر این مدل‌ها، به‌ویژه در وظایفی که به درک ظرافت‌های زبانی نیاز دارند، بوده‌اند. درک اینکه کدام بخش‌ها از ورودی (جمله) و کدام جنبه‌های ساختاری یا معنایی، بیشترین تأثیر را بر تصمیم‌گیری مدل دارند، برای بهبود، اشکال‌زدایی و اطمینان از صحت عملکرد آن‌ها حیاتی است.

۳. چکیده و خلاصه محتوا

چکیده مقاله بیان می‌کند که هدف اصلی، درک فرآیند تصمیم‌گیری مدل بِرت در تشخیص جملات پذیرفتنی زبانی (LA) و غیرپذیرفتنی (LUA) است. این پژوهش از امتیازات اسناد گرادیان یکپارچه لایه‌ای (Layer Integrated Gradients Attribution Scores – LIG) برای تفسیر معیارهای پذیرش زبانی که بِرت بر روی مجموعه داده CoLA آموخته است، استفاده می‌کند.

به طور خلاصه، مقاله به سوالات زیر پاسخ می‌دهد:

• چگونه مدل بِرت بین جملات صحیح دستوری و نادرست تمایز قائل می‌شود؟
• کدام بخش‌های ساختاری یک جمله بیشترین تأثیر را بر قضاوت بِرت دارند؟
• آیا می‌توان از این دانش برای بهبود عملکرد مدل استفاده کرد؟

نویسندگان با انجام آزمایشاتی بر روی پنج دسته مختلف از جملات، به یافته‌های جالبی دست یافته‌اند که در ادامه به تفصیل بیان خواهند شد. این پژوهش گامی مهم در جهت افزایش شفافیت و قابلیت تفسیر در مدل‌های زبانی مدرن محسوب می‌شود.

۴. روش‌شناسی تحقیق

روش‌شناسی این تحقیق بر دو ستون اصلی استوار است: استفاده از تکنیک گرادیان‌های یکپارچه (Integrated Gradients – IG) و تحلیل درخت‌های تجزیه سازه‌ای (Constituency Parse Trees – CPT).

الف) گرادیان‌های یکپارچه (Integrated Gradients – IG):

مدل‌های یادگیری عمیق، به‌خصوص شبکه‌های عصبی، برای تصمیم‌گیری خود به محاسبات پیچیده‌ای متکی هستند. درک اینکه کدام ورودی‌ها (کلمات یا بخش‌هایی از جمله) بیشترین تأثیر را بر خروجی نهایی (در اینجا، پیش‌بینی پذیرش یا عدم پذیرش جمله) داشته‌اند، امری حیاتی است. گرادیان‌های یکپارچه یکی از روش‌های پیشرفته تفسیرپذیری مدل (Model Interpretability) است. این تکنیک، امتیاز سهم (attribution score) را برای هر عنصر ورودی محاسبه می‌کند. به عبارت دیگر، IG به ما می‌گوید که هر کلمه یا هر بخش از جمله، چه میزان در تصمیم نهایی مدل نقش داشته است.

نویسندگان در این پژوهش از نسخه‌ی لایه‌ای این تکنیک، یعنی امتیازات اسناد گرادیان یکپارچه لایه‌ای (LIG) استفاده کرده‌اند. این رویکرد به آن‌ها اجازه می‌دهد تا سهم عناصر ورودی را در سطوح مختلف و در طول لایه‌های مختلف شبکه عصبی بِرت بررسی کنند، که این خود درک عمیق‌تری از چگونگی پردازش اطلاعات در طول شبکه فراهم می‌آورد.

ب) درخت‌های تجزیه سازه‌ای (Constituency Parse Trees – CPT):

زبان انسان ساختاری سلسله مراتبی دارد. ساختار دستوری یک جمله را می‌توان با استفاده از درخت‌های تجزیه سازه‌ای نمایش داد. این درخت‌ها، اجزای جمله (مانند اسم، فعل، صفت) و چگونگی ترکیب آن‌ها را در گروه‌ها (مانند گروه‌های اسمی، گروه‌های فعلی) و در نهایت در کل جمله نشان می‌دهند. درک این ساختار برای فهم معنایی و دستوری جمله ضروری است.

نویسندگان با ترکیب امتیازات LIG با ساختار CPT، توانسته‌اند مشخص کنند که کدام زیردرخت‌ها (subtrees) یا کدام بخش‌های ساختاری جمله، بیشترین تأثیر را بر تصمیم مدل بِرت در مورد پذیرش یا عدم پذیرش جمله داشته‌اند. این رویکرد، تحلیل دقیقی از چگونگی یادگیری قواعد دستوری توسط مدل را ممکن می‌سازد.

ج) مجموعه داده CoLA:

مجموعه داده Corpus of Linguistic Acceptability (CoLA)، بنچ‌مارکی استاندارد برای ارزیابی مدل‌ها در وظیفه پذیرش زبانی است. این مجموعه داده شامل نمونه‌هایی از جملات صحیح و نادرست از دیدگاه دستوری است که توسط زبان‌شناسان جمع‌آوری و برچسب‌گذاری شده‌اند. مدل بِرت بر روی این مجموعه داده آموزش دیده و سپس با استفاده از روش‌های فوق، مورد تحلیل قرار گرفته است.

۵. یافته‌های کلیدی

این پژوهش با بررسی دقیق نتایج حاصل از اجرای LIG بر روی ساختارهای CPT، به یافته‌های قابل توجهی دست یافته است:

• اختلاف چشمگیر در LIG برای LA و LUA: یکی از مهمترین یافته‌ها این است که امتیازات LIG برای جملات پذیرفتنی زبانی (LA) به طور قابل توجهی کوچکتر از امتیازات LIG برای جملات غیرپذیرفتنی زبانی (LUA) است. این بدان معناست که زمانی که بِرت یک جمله را صحیح تشخیص می‌دهد، کمتر به بخش‌های خاصی «تکیه» می‌کند، در حالی که برای تشخیص جمله نادرست، به بخش‌های مشخصی توجه ویژه‌ای نشان می‌دهد. این می‌تواند نشان‌دهنده نحوه یادگیری خطاها و انحرافات دستوری توسط مدل باشد.
• مساهمت زیردرخت‌های خاص CPT: محققان مشاهده کرده‌اند که زیردرخت‌های خاصی در CPT وجود دارند که بیشترین میزان LIG را هم برای جملات LA و هم برای LUA به خود اختصاص می‌دهند. این نشان می‌دهد که مدل بِرت، برخی ساختارهای دستوری خاص را برای تصمیم‌گیری خود مهم‌تر تلقی می‌کند. به عنوان مثال، ممکن است ساختارهای پیچیده یا استثنائات دستوری، بیشترین توجه مدل را جلب کنند.
• ارتباط مثبت LIG با اطمینان پیش‌بینی: در حدود ۸۸٪ تا ۱۰۰٪ از جملاتی که به درستی توسط مدل طبقه‌بندی شده‌اند (چه LA و چه LUA)، دارای LIG مثبت بوده‌اند. این یافته، یک ارتباط قوی مثبت بین امتیاز LIG و اطمینان (confidence) مدل در پیش‌بینی خود را نشان می‌دهد. به عبارت دیگر، زمانی که مدل مطمئن است، LIG مثبت، این اطمینان را تأیید می‌کند.
• پتانسیل بهبود با پارامترسازی LIG: یافته‌ای بسیار امیدوارکننده این است که حدود ۴۳٪ از جملاتی که اشتباه طبقه‌بندی شده‌اند، دارای LIG منفی بوده‌اند. نویسندگان معتقدند که با پارامترسازی (یعنی گنجاندن) این امتیازات LIG در تابع زیان (loss function) مدل در طول فرآیند آموزش، می‌توان این جملات را به درستی طبقه‌بندی کرد. این یعنی می‌توان از دانش به دست آمده از LIG برای هدایت مدل به سمت یادگیری بهتر قواعد دستوری و کاهش خطا استفاده نمود.

۶. کاربردها و دستاوردها

این پژوهش دارای کاربردها و دستاوردهای مهمی در حوزه هوش مصنوعی و پردازش زبان طبیعی است:

• افزایش قابلیت تفسیر مدل‌های زبان: مهمترین دستاورد، ارائه روشی عملی برای فهم بهتر «جعبه سیاه» مدل‌های زبانی مانند بِرت است. این امر به محققان و توسعه‌دهندگان اجازه می‌دهد تا درک کنند چرا مدل یک جمله را پذیرفتنی یا غیرپذیرفتنی تشخیص داده است.
• بهبود عملکرد مدل‌ها: با شناسایی بخش‌هایی از ساختار زبان که برای مدل چالش‌برانگیز هستند یا اشتباه تفسیر می‌شوند، می‌توان مدل‌ها را به طور هدفمندتری بهبود بخشید. همانطور که در یافته چهارم اشاره شد، گنجاندن LIG در فرآیند آموزش می‌تواند منجر به کاهش خطاهای طبقه‌بندی شود.
• کاربرد در توسعه سیستم‌های زبانی دقیق‌تر: سیستم‌های پرسش و پاسخ، تولید متن، و ترجمه ماشینی که به دقت دستوری بالا نیاز دارند، می‌توانند از این پژوهش سود ببرند. درک نحوه عملکرد مدل‌ها در پذیرش زبانی، تضمین‌کننده خروجی‌های صحیح‌تر و طبیعی‌تر خواهد بود.
• کمک به آموزش زبان: این تحقیق می‌تواند به طور غیرمستقیم در توسعه ابزارهای آموزشی برای یادگیری زبان نیز مفید باشد. با درک اینکه مدل چگونه خطاهای دستوری را تشخیص می‌دهد، می‌توان راهنمایی‌های دقیق‌تری برای زبان‌آموزان ارائه داد.
• مبنایی برای تحقیقات آینده: این روش‌شناسی، پایه‌ای برای تحقیقات آینده در زمینه تفسیرپذیری مدل‌های زبانی و درک عمیق‌تر از دانش زبانی آموخته‌شده توسط شبکه‌های عصبی فراهم می‌کند.

مثال عملی: فرض کنید مدل بِرت جمله‌ی «من به دیروز رفتم.» را بررسی می‌کند. این جمله از نظر دستوری صحیح نیست. با استفاده از LIG، ممکن است مشخص شود که کلمه‌ی «دیروز» در ترکیب با فعل «رفتم» (که معمولاً برای گذشته استفاده می‌شود) باعث ایجاد امتیاز LIG بالایی شده است. این نشان می‌دهد که مدل متوجه عدم انطباق زمانی شده است. حال فرض کنید جمله «آنها در حال حاضر رفتند.» نیز نادرست است. LIG ممکن است نشان دهد که عدم تطابق بین قید زمان حال «در حال حاضر» و فعل گذشته «رفتند» عامل اصلی در تشخیص نادرستی جمله بوده است. تحلیل CPT می‌تواند نشان دهد که این عدم تطابق در کدام سطح از ساختار جمله (مثلاً در سطح گروه‌های فعلی یا ارتباط قید و فعل) رخ داده است.

۷. نتیجه‌گیری

پژوهش «تبیین پذیرش زبانی آموخته‌شده توسط بِرت با گرادیان‌های یکپارچه و درخت‌های تجزیه سازه‌ای»، گامی مهم در جهت شفاف‌سازی نحوه عملکرد مدل‌های پیشرفته زبان طبیعی در درک قواعد دستوری است. با ترکیب تکنیک‌های قدرتمند تفسیرپذیری مانند گرادیان‌های یکپارچه و تحلیل ساختاریافته زبان با استفاده از درخت‌های تجزیه سازه‌ای، نویسندگان توانسته‌اند بینش‌های ارزشمندی درباره معیارهای پذیرش زبانی که مدل بِرت آموخته است، به دست آورند.

یافته‌های کلیدی مبنی بر اختلاف LIG بین جملات پذیرفتنی و غیرپذیرفتنی، شناسایی زیردرخت‌های کلیدی مؤثر در تصمیم‌گیری، و ارتباط مثبت LIG با اطمینان مدل، نشان‌دهنده توانایی این روش در استخراج اطلاعات مفید از مدل است. مهمتر از همه، پیشنهاد پارامترسازی LIG در تابع زیان برای بهبود طبقه‌بندی جملات اشتباه، راهکار عملی و نوآورانه‌ای برای ارتقاء مدل‌ها ارائه می‌دهد.

این تحقیق نه تنها به درک علمی ما از مدل‌های زبانی کمک می‌کند، بلکه مسیر را برای توسعه سیستم‌های پردازش زبان طبیعی هوشمندتر، قابل اعتمادتر و در نهایت، مفیدتر هموار می‌سازد. با ادامه این قبیل پژوهش‌ها، می‌توانیم به ساخت هوش مصنوعی‌ای نزدیک شویم که زبان انسان را نه تنها پردازش کند، بلکه عمیقاً درک نماید.