در دهه اخیر، با رشد شگفت‌انگیز مدل‌های یادگیری عمیق در حوزه‌های مختلف، به ویژه در پردازش زبان طبیعی (NLP)، شاهد ظهور سیستم‌های هوشمندی هستیم که قادر به درک، تولید و ترجمه زبان انسان با دقتی بی‌سابقه هستند. مدل‌هایی مانند BERT، GPT و ترنسفورمرها انقلابی در وظایفی چون تحلیل احساسات، ترجمه ماشینی و خلاصه‌سازی متن ایجاد کرده‌اند. با این حال، این پیشرفت‌ها با یک چالش اساسی همراه بوده است: پیچیدگی و ماهیت «جعبه سیاه» (Black Box) این مدل‌ها. این مدل‌ها اغلب از میلیون‌ها یا میلیاردها پارامتر تشکیل شده‌اند و فرآیند تصمیم‌گیری آن‌ها برای انسان غیرقابل درک است. این عدم شفافیت، اعتماد به این سیستم‌ها را، به خصوص در کاربردهای حساس مانند پزشکی، حقوق و مالی، دشوار می‌سازد.

اینجاست که حوزه «هوش مصنوعی تبیین‌پذیر» (Explainable AI – XAI) اهمیت می‌یابد. هدف XAI توسعه تکنیک‌هایی است که به ما امکان می‌دهد بفهمیم یک مدل هوش مصنوعی چگونه و چرا به یک تصمیم خاص رسیده است. مقاله مروری «تفسیرهای محلی برای پردازش زبان طبیعی تبیین‌پذیر» نوشته‌ی سیون لو و همکارانش، به عنوان یک راهنمای جامع و حیاتی در این زمینه عمل می‌کند. این مقاله با تمرکز بر تفسیرهای محلی – یعنی تبیین یک پیش‌بینی خاص برای یک ورودی مشخص – به طبقه‌بندی و بررسی روش‌های موجود می‌پردازد و نقشه راهی ارزشمند برای محققان و توسعه‌دهندگان فراهم می‌کند تا مدل‌های NLP را شفاف‌تر، قابل اعتمادتر و کارآمدتر سازند.

این مقاله توسط تیمی از پژوهشگران به نام‌های سیون لو (Siwen Luo)، همیش آیویزن (Hamish Ivison)، کارن هان (Caren Han) و جوزایا پون (Josiah Poon) به نگارش درآمده است. این پژوهش در تقاطع دو حوزه بسیار فعال و مهم علوم کامپیوتر، یعنی «پردازش زبان طبیعی» و «هوش مصنوعی تبیین‌پذیر»، قرار می‌گیرد. ماهیت این مقاله، یک مقاله مروری (Survey) است؛ به این معنا که نویسندگان به جای ارائه یک روش جدید، به مطالعه، دسته‌بندی و تحلیل جامع پژوهش‌های پیشین در این زمینه پرداخته‌اند. مقالات مروری در رشته‌های علمی که به سرعت در حال تحول هستند، نقشی حیاتی ایفا می‌کنند، زیرا به یکپارچه‌سازی دانش پراکنده کمک کرده و مسیرهای پژوهشی آینده را روشن می‌سازند. این مقاله به طور خاص بر روی تفسیرپذیری «محلی» تمرکز دارد که در مقایسه با تفسیرپذیری «سراسری» (Global)، به دنبال پاسخ به این پرسش است: «چرا مدل برای این ورودی خاص، این خروجی مشخص را تولید کرد؟»

همانطور که از عنوان مقاله پیداست، تمرکز اصلی آن بر روش‌هایی است که به ما اجازه می‌دهند تصمیمات مدل‌های پیچیده NLP را به صورت محلی تفسیر کنیم. نویسندگان در ابتدا به تعریف دقیق «تفسیرپذیری» و ابعاد مختلف آن می‌پردازند و سپس یک طبقه‌بندی منسجم از روش‌های موجود ارائه می‌دهند. این طبقه‌بندی، که ستون فقرات مقاله را تشکیل می‌دهد، روش‌های تفسیر محلی را به سه دسته اصلی تقسیم می‌کند:

• تفسیر پیش‌بینی‌های مدل از طریق ویژگی‌های ورودی مرتبط: این دسته از روش‌ها به دنبال شناسایی مهم‌ترین بخش‌های ورودی (مثلاً کلمات یا عبارات) هستند که بیشترین تأثیر را بر تصمیم نهایی مدل داشته‌اند. برای مثال، در یک سیستم تحلیل احساسات، این روش‌ها نشان می‌دهند که کدام کلمات باعث شده‌اند یک جمله به عنوان «مثبت» یا «منفی» برچسب‌گذاری شود.
• تفسیر از طریق تبیین به زبان طبیعی: در این رویکرد، مدل علاوه بر پیش‌بینی خود، یک توضیح متنی و قابل فهم برای انسان تولید می‌کند تا منطق پشت تصمیمش را توجیه کند. این روش به دنبال آن است که ماشین‌ها بتوانند «دلیل» کار خود را به زبان ما بیان کنند.
• کاوش در حالات پنهان مدل‌ها و بازنمایی کلمات: این دسته از روش‌ها فنی‌تر بوده و به «کالبدشکافی» مدل می‌پردازند. محققان با تحلیل لایه‌های داخلی و بردارهای عددی (بازنمایی‌ها) که مدل برای کلمات و جملات تولید می‌کند، سعی در کشف این موضوع دارند که آیا مدل مفاهیم زبانی مشخصی (مانند ساختار نحوی، زمان فعل یا مفاهیم معنایی) را یاد گرفته است یا خیر.

روش‌شناسی این مقاله مبتنی بر یک مرور ادبیات نظام‌مند (Systematic Literature Review) است. نویسندگان با جستجو و گردآوری گسترده مقالات علمی منتشر شده در زمینه تفسیرپذیری مدل‌های NLP، مجموعه‌ای از پژوهش‌های مرتبط را فراهم آورده‌اند. سپس، این مجموعه را بر اساس معیارهای مشخصی فیلتر کرده‌اند تا تنها روش‌های مرتبط با تفسیرپذیری محلی باقی بمانند. گام بعدی، ایجاد یک چارچوب یا «تاکسونومی» برای دسته‌بندی این روش‌ها بود. طبقه‌بندی سه‌گانه ذکر شده، حاصل این فرآیند تحلیلی است. این رویکرد به خواننده کمک می‌کند تا به جای مواجهه با انبوهی از مقالات پراکنده، با یک ساختار منظم و منطقی روبرو شود و بتواند ارتباط بین روش‌های مختلف و نقاط قوت و ضعف هر یک را بهتر درک کند.

این مقاله یافته‌های خود را در قالب بررسی عمیق هر یک از سه دسته روش‌شناسی ارائه می‌دهد:

دسته اول: تفسیر از طریق ویژگی‌های ورودی

در این بخش، روش‌هایی معرفی می‌شوند که اهمیت هر کلمه یا توکن در ورودی را محاسبه می‌کنند. معروف‌ترین این روش‌ها عبارتند از:

• LIME (Local Interpretable Model-agnostic Explanations): این روش با ایجاد تغییرات جزئی در ورودی (مثلاً حذف برخی کلمات) و مشاهده تأثیر آن بر خروجی، به صورت محلی رفتار مدل پیچیده را با یک مدل ساده‌تر و قابل فهم تقریب می‌زند.
• SHAP (SHapley Additive exPlanations): این روش که ریشه در نظریه بازی‌ها دارد، به هر ویژگی (کلمه) یک مقدار عددی نسبت می‌دهد که بیانگر سهم آن در «هل دادن» خروجی از یک مقدار پایه به مقدار نهایی است.
• روش‌های مبتنی بر گرادیان (Gradient-based): این تکنیک‌ها با محاسبه گرادیان خروجی نسبت به ورودی، حساسیت مدل به هر کلمه را اندازه‌گیری می‌کنند.
• مکانیسم توجه (Attention Mechanism): در ابتدا تصور می‌شد که وزن‌های توجه در مدل‌های ترنسفورمر به طور مستقیم نشان‌دهنده اهمیت کلمات هستند، اما پژوهش‌های بعدی نشان داد که این فرض همیشه صحیح نیست و وزن‌های توجه لزوماً با تبیین مدل برابر نیستند. مقاله به این بحث مهم نیز می‌پردازد.

دسته دوم: تفسیر از طریق تبیین به زبان طبیعی (NLE)

این رویکرد که به آن “self-explaining models” نیز گفته می‌شود، به دنبال ساخت مدل‌هایی است که بتوانند استدلال خود را به زبان انسان بیان کنند. برای مثال، یک سیستم پاسخ به پرسش ممکن است علاوه بر ارائه پاسخ، جمله‌ای مانند این تولید کند: «پاسخ “پاریس” است، زیرا در متن ذکر شده که “برج ایفل در پایتخت فرانسه، پاریس، قرار دارد.”» چالش اصلی در این حوزه، اطمینان از صحت و وفاداری (faithfulness) توضیحات تولید شده است؛ یعنی آیا توضیح ارائه شده واقعاً فرآیند تصمیم‌گیری مدل را بازتاب می‌دهد یا صرفاً یک توجیه قابل قبول اما غیرواقعی است؟

دسته سوم: کاوش در حالات پنهان (Probing)

این روش‌ها مانند یک میکروسکوپ برای بررسی مغز مدل‌های زبانی عمل می‌کنند. در این تکنیک‌ها، که به آن‌ها «وظایف کاوشگر» (Probing Tasks) گفته می‌شود، یک مدل طبقه‌بند ساده (probe) آموزش داده می‌شود تا با استفاده از بازنمایی‌های داخلی (بردارهای پنهان) مدل اصلی، یک ویژگی زبانی خاص را پیش‌بینی کند. برای مثال، آیا می‌توان از بردارهای لایه ششم مدل BERT برای تشخیص زمان افعال (گذشته، حال، آینده) استفاده کرد؟ اگر این طبقه‌بند ساده به دقت بالایی دست یابد، نتیجه می‌گیریم که مدل اصلی آن مفهوم زبانی را در آن لایه به خوبی کدگذاری کرده است. این روش‌ها به ما درک عمیق‌تری از نحوه بازنمایی دانش زبانی در شبکه‌های عصبی می‌دهند.

دستاورد اصلی این مقاله، ارائه یک چارچوب منسجم برای درک و مقایسه روش‌های تفسیرپذیری محلی در NLP است. کاربردهای عملی این روش‌ها بسیار گسترده و حیاتی هستند:

• اشکال‌زدایی و بهبود مدل: با فهمیدن اینکه چرا یک مدل در یک مورد خاص اشتباه می‌کند، توسعه‌دهندگان می‌توانند نقاط ضعف آن را شناسایی و برطرف کنند. برای مثال، اگر یک مدل تحلیل احساسات، یک جمله کنایه‌آمیز را اشتباه تشخیص دهد، روش‌های تبیین‌پذیری می‌توانند نشان دهند که مدل صرفاً بر کلمات مثبت تمرکز کرده و به زمینه کنایه‌آمیز توجه نکرده است.
• افزایش اعتماد کاربر: در سیستم‌های حساس مانند تشخیص پزشکی از روی گزارش‌های بالینی یا سیستم‌های تصمیم‌گیری برای اعطای وام، کاربران (پزشکان، مدیران) باید بتوانند به تصمیمات مدل اعتماد کنند. ارائه یک توضیح قابل فهم، این اعتماد را به شدت افزایش می‌دهد.
• شناسایی و کاهش سوگیری (Bias): مدل‌های زبانی ممکن است سوگیری‌های موجود در داده‌های آموزشی خود (مانند سوگیری‌های جنسیتی یا نژادی) را یاد بگیرند. روش‌های XAI می‌توانند به ما نشان دهند که آیا مدل برای تصمیم‌گیری به ویژگی‌های نامرتبط و حساس (مانند نام یا جنسیت) تکیه می‌کند یا خیر.
• پیشرفت علمی: روش‌های کاوشگر به زبان‌شناسان و دانشمندان علوم شناختی کمک می‌کنند تا درک بهتری از نحوه پردازش و بازنمایی زبان در سیستم‌های طبیعی و مصنوعی پیدا کنند.

مقاله «تفسیرهای محلی برای پردازش زبان طبیعی تبیین‌پذیر» یک منبع ارزشمند و یک نقطه عطف در حوزه رو به رشد هوش مصنوعی تبیین‌پذیر است. این مقاله با ارائه یک طبقه‌بندی شفاف و تحلیل عمیق از روش‌های موجود، نه تنها به سازماندهی دانش فعلی کمک می‌کند، بلکه چالش‌ها و مسیرهای تحقیقاتی آینده را نیز مشخص می‌سازد. نویسندگان نشان می‌دهند که حرکت از مدل‌های «جعبه سیاه» به سمت مدل‌های «جعبه شیشه‌ای» (Glass Box) یک انتخاب نیست، بلکه یک ضرورت برای استقرار مسئولانه و اخلاقی هوش مصنوعی در جامعه است. با پیشرفت روزافزون مدل‌های زبانی، اهمیت توسعه روش‌های تفسیرپذیری قوی‌تر، وفادارتر و کارآمدتر بیش از پیش آشکار می‌شود و این مقاله نقش مهمی در هدایت این تلاش‌ها ایفا می‌کند.