۱. معرفی مقاله و اهمیت آن

در دنیای رو به رشد هوش مصنوعی و پردازش زبان طبیعی (NLP)، توانایی درک و توضیح نحوه تصمیم‌گیری مدل‌ها، اهمیتی حیاتی یافته است. پدیده‌ی «هوش مصنوعی قابل توضیح» (Explainable AI – XAI) به دنبال ارائه مدل‌هایی است که نه تنها دقیق باشند، بلکه بتوانند فرآیند رسیدن به پیش‌بینی خود را به شکلی شفاف و قابل فهم برای انسان توضیح دهند. یکی از جنبه‌های کلیدی XAI، «استخراج استدلال» (Rationale Extraction) است که هدف آن شناسایی بخش‌هایی از ورودی است که بیشترین تأثیر را بر خروجی یا پیش‌بینی مدل داشته‌اند.

مقاله «REFER: An End-to-end Rationale Extraction Framework for Explanation Regularization» که توسط محمد‌رضا قاسمی مدنی و پاسکواله مینرینی ارائه شده است، چارچوبی نوین و یکپارچه به نام REFER را معرفی می‌کند. این چارچوب با هدف بهبود کیفیت توضیحات تولید شده توسط مدل‌های NLP، دو چالش اساسی در حوزه استخراج استدلال را مورد خطاب قرار می‌دهد: ۱) تضمین «وفاداری» (Faithfulness) توضیح به رفتار واقعی مدل، به این معنی که بخش‌های مشخص شده واقعاً در تصمیم‌گیری مدل نقش داشته‌اند؛ و ۲) اطمینان از «قابلیت فهم» (Plausibility) توضیح برای انسان، به این معنا که توضیحات ارائه شده منطقی و قانع‌کننده باشند.

اهمیت این پژوهش در آن است کهREFER با رویکردی متفاوت، امکان «منظم‌سازی توضیحات» (Explanation Regularization) را از طریق یک استخراج‌گر استدلال «دیفرانسیل‌پذیر» (Differentiable) فراهم می‌آورد. این رویکرد امکان ادغام مستقیم فرآیند استخراج استدلال در فرآیند آموزش مدل اصلی را می‌دهد و به نتایج بهتری در زمینه دقت پیش‌بینی، وفاداری و قابلیت فهم توضیحات منجر می‌شود.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط دو پژوهشگر برجسته در حوزه هوش مصنوعی و پردازش زبان طبیعی نگاشته شده است:

• محمد‌رضا قاسمی مدنی (Mohammad Reza Ghasemi Madani)
• پاسکواله مینرینی (Pasquale Minervini)

حوزه تحقیقاتی اصلی این مقاله، «محاسبات و زبان» (Computation and Language) است. این حوزه به طور خاص به بررسی جنبه‌های محاسباتی مربوط به زبان انسان و توسعه مدل‌های هوش مصنوعی که قادر به درک، تولید و پردازش زبان طبیعی باشند، می‌پردازد. پژوهش‌های مرتبط با هوش مصنوعی قابل توضیح، استخراج اطلاعات، و فهم معنایی زبان، همگی در این چارچوب قرار می‌گیرند.

تمرکز این پژوهش بر روی تعامل بین عملکرد مدل در یک وظیفه خاص (مانند دسته‌بندی متن) و کیفیت توضیحات تولید شده برای آن پیش‌بینی است. نویسندگان با معرفی REFER، پلی میان دو حوزه مهم، یعنی طراحی مدل‌های کارآمد و ارائه توضیحات قابل اعتماد، ایجاد کرده‌اند.

۳. چکیده و خلاصه محتوا

چکیده مقاله به طور خلاصه به معرفی مسئله، رویکرد پیشنهادی و نتایج کلیدی می‌پردازد:

«توضیحات متنی با حاشیه‌نویسی انسانی به طور فزاینده‌ای در هوش مصنوعی قابل توضیح پردازش زبان طبیعی اهمیت پیدا کرده‌اند. استخراج استدلال با هدف ارائه توضیحات وفادار (یعنی بازتاب‌دهنده رفتار مدل) و قابل فهم (یعنی قانع‌کننده برای انسان) از طریق برجسته کردن ورودی‌هایی که بیشترین تأثیر را بر پیش‌بینی داشته‌اند، بدون افت عملکرد مدل اصلی، انجام می‌شود. در کارهای اخیر، تمرکز آموزش استخراج‌گرهای استدلال عمدتاً بر بهینه‌سازی برای قابلیت فهم با استفاده از برجسته‌سازی‌های انسانی بوده است، در حالی که مدل وظیفه بر روی بهینه‌سازی مشترک دقت پیش‌بینی وظیفه و وفاداری آموزش دیده است. ما REFER را معرفی می‌کنیم، چارچوبی که از یک استخراج‌گر استدلال دیفرانسیل‌پذیر استفاده می‌کند که امکان پس‌انتشار خطا (back-propagate) را از طریق فرآیند استخراج استدلال فراهم می‌آورد. ما تأثیر استفاده از برجسته‌سازی‌های انسانی را در طول آموزش با آموزش مشترک مدل وظیفه و استخراج‌گر استدلال تحلیل می‌کنیم. در آزمایش‌های ما، REFER در terms of وفاداری، قابلیت فهم و دقت وظیفه پایین‌دست (downstream task accuracy) هم در داده‌های توزیع-درون (in-distribution) و هم توزیع-خارج (out-of-distribution) نتایج به طور قابل توجهی بهتری به دست می‌آورد. در هر دو مجموعه داده e-SNLI و CoS-E، بهترین تنظیمات ما نتایج بهتری را از نظر نسبت سود نرمال‌شده ترکیبی (composite normalized relative gain) نسبت به خطوط مبنای قبلی به ترتیب با ۱۱٪ و ۳٪ تولید می‌کند.»

به طور خلاصه، مقاله REFER را به عنوان راهکاری برای رفع کاستی‌های رویکردهای پیشین معرفی می‌کند. مشکل اصلی این بود که در روش‌های گذشته، آموزش استخراج‌گر استدلال و مدل اصلی به صورت مجزا یا با بهینه‌سازی‌های جداگانه انجام می‌شد که منجر به عدم هماهنگی بین این دو جزء و در نتیجه توضیحات کمتر مطلوب می‌شد. REFER با معرفی یک استخراج‌گر استدلال دیفرانسیل‌پذیر، اجازه می‌دهد تا سیگنال خطا مستقیماً از فرآیند استخراج استدلال به مدل اصلی بازگردانده شود. این ادغام، آموزش مشترک (joint training) را امکان‌پذیر می‌سازد و باعث می‌شود هر دو بخش (مدل وظیفه و استخراج‌گر استدلال) با هم یاد بگیرند و یکدیگر را تقویت کنند. نتیجه این رویکرد، مدل‌هایی هستند که هم در پیش‌بینی دقیق‌تر عمل می‌کنند و هم توضیحات وفادارتر و قابل فهم‌تری ارائه می‌دهند، حتی در مواجهه با داده‌هایی که در مجموعه آموزشی وجود نداشته‌اند.

۴. روش‌شناسی تحقیق

روش‌شناسی مقاله REFER بر پایه‌ی یک ایده نوآورانه استوار است: ادغام عمیق فرآیند استخراج استدلال در فرآیند آموزش مدل وظیفه، از طریق استفاده از یک استخراج‌گر استدلال قابل افتراق (دیفرانسیل‌پذیر).

۴.۱. استخراج‌گر استدلال دیفرانسیل‌پذیر

برخلاف رویکردهای قبلی که معمولاً از روش‌های غیردیفرانسیل‌پذیر برای انتخاب کلمات کلیدی یا عبارات مرتبط استفاده می‌کردند (مثلاً با thresholding یا sampling)، REFER از یک مدل (مثلاً یک شبکه عصبی) به عنوان استخراج‌گر استدلال بهره می‌برد که خروجی آن (یعنی درجه اهمیت هر بخش از ورودی) قابل محاسبه برای پس‌انتشار خطا باشد. این به این معنی است که گرادیان‌های خطا می‌توانند از طریق لایه‌های استخراج‌گر استدلال به پارامترهای آن و سپس به پارامترهای مدل وظیفه منتشر شوند.

۴.۲. آموزش مشترک (Joint Training)

مهم‌ترین نوآوری REFER، امکان آموزش مشترک مدل وظیفه (task model) و استخراج‌گر استدلال (rationale extractor) است. این آموزش مشترک از طریق تابع زیان (loss function) انجام می‌شود که شامل دو بخش اصلی است:

• زیان وظیفه (Task Loss): این بخش مربوط به عملکرد اصلی مدل در انجام وظیفه مورد نظر (مانند دسته‌بندی متن) است. هدف، کمینه‌سازی خطای پیش‌بینی مدل است.
• زیان منظم‌سازی توضیحات (Explanation Regularization Loss): این بخش، که از طریق استخراج‌گر استدلال دیفرانسیل‌پذیر هدایت می‌شود، به دو هدف وفاداری و قابلیت فهم کمک می‌کند. این زیان می‌تواند به اشکال مختلفی تعریف شود:
  • تشویق به وفاداری: با استفاده از برجسته‌سازی‌های انسانی (human highlights) در مجموعه داده آموزشی، مدل تشویق می‌شود تا بخش‌هایی از ورودی را که انسان‌ها به عنوان مهم تشخیص داده‌اند، شناسایی کند. این بخش زیان، اطمینان حاصل می‌کند که استدلال استخراج شده با قضاوت انسانی همخوانی دارد.
  • تشویق به قابلیت فهم: ممکن است با اعمال محدودیت‌هایی بر روی تعداد کلمات یا عبارات انتخاب شده (مانند sparsity constraints) یا استفاده از معیارهای دیگر، اطمینان حاصل شود که توضیحات ارائه شده بیش از حد طولانی یا گیج‌کننده نباشند.

با ترکیب این دو زیان، مدل یاد می‌گیرد که هم پیش‌بینی‌های دقیقی انجام دهد و هم توضیحاتی ارائه دهد که با دلایل انسانی مطابقت داشته باشد و در عین حال رفتار واقعی مدل را منعکس کند.

۴.۳. تحلیل استفاده از برجسته‌سازی‌های انسانی

مقاله به طور ویژه‌ای تأثیر استفاده از داده‌های حاشیه‌نویسی شده توسط انسان (human highlights) را در فرآیند آموزش بررسی می‌کند. این داده‌ها به مدل کمک می‌کنند تا درک بهتری از آنچه که یک توضیح «خوب» به نظر می‌رسد، پیدا کند. REFER با ترکیب این اطلاعات در تابع زیان، امکان استفاده بهینه از این منابع ارزشمند را فراهم می‌سازد.

۴.۴. آزمایش‌ها و ارزیابی

برای سنجش اثربخشی REFER، آزمایش‌های جامعی بر روی دو مجموعه داده‌ی استاندارد در حوزه استدلال و توضیح، یعنی e-SNLI (برای استنتاج متنی) و CoS-E (برای استدلال علت و معلولی) انجام شده است. این آزمایش‌ها شامل ارزیابی در شرایط توزیع-درون (in-distribution) و توزیع-خارج (out-of-distribution) بوده است. معیارهای ارزیابی شامل:

• وفاداری (Faithfulness): میزان همخوانی توضیحات با رفتار واقعی مدل.
• قابلیت فهم (Plausibility): میزان قانع‌کننده بودن توضیحات برای انسان.
• دقت وظیفه (Task Accuracy): عملکرد مدل در وظیفه اصلی.

مقایسه نتایج REFER با روش‌های پیشرفته موجود (baselines) نشان‌دهنده برتری قابل توجه این چارچوب است.

۵. یافته‌های کلیدی

یافته‌های کلیدی مقاله REFER حاکی از موفقیت چشمگیر این چارچوب در بهبود فرآیند استخراج استدلال و منظم‌سازی توضیحات است:

• پیشرفت قابل توجه در وفاداری و قابلیت فهم: REFER توانسته است به طور مداوم نسبت به روش‌های پیشین، توضیحات وفادارتری (بازتاب‌دهنده رفتار مدل) و قابل فهم‌تری (متقاعدکننده‌تر برای انسان) تولید کند. این امر مستقیماً به دلیل آموزش مشترک و امکان پس‌انتشار خطا از طریق استخراج‌گر استدلال دیفرانسیل‌پذیر است.
• بهبود دقت وظیفه: برخلاف برخی رویکردهای XAI که ممکن است منجر به افت دقت در وظیفه اصلی شوند، REFER نه تنها توضیحات را بهبود می‌بخشد، بلکه در بسیاری از موارد، دقت پیش‌بینی مدل را نیز افزایش می‌دهد. این نشان می‌دهد که استخراج استدلال مؤثر می‌تواند به عنوان یک فرآیند منظم‌سازی مفید برای مدل اصلی عمل کند.
• عملکرد قوی در شرایط مختلف (In-distribution و Out-of-distribution): یکی از دستاوردهای مهم REFER، حفظ عملکرد قوی آن حتی زمانی است که مدل با داده‌هایی مواجه می‌شود که در مجموعه آموزشی به طور کامل وجود نداشته‌اند. این قابلیت، نشان‌دهنده توانایی مدل در تعمیم و تولید استدلال‌های قابل اعتماد در سناریوهای واقعی‌تر است.
• اثربخشی آموزش مشترک: آزمایش‌ها به وضوح نشان دادند که آموزش مشترک مدل وظیفه و استخراج‌گر استدلال، کلید موفقیت REFER است. این رویکرد از ایجاد شکاف بین آنچه مدل “فکر می‌کند” و آنچه “توضیح می‌دهد” جلوگیری می‌کند.
• عملکرد بهتر نسبت به خطوط مبنا: در مجموعه داده‌های e-SNLI و CoS-E، بهترین تنظیمات REFER توانستند به ترتیب ۱۱٪ و ۳٪ بهبود در نسبت سود نرمال‌شده ترکیبی (composite normalized relative gain) نسبت به روش‌های پیشرفته موجود دست یابند. این معیار، یک ارزیابی جامع از عملکرد کلی (ترکیبی از دقت، وفاداری و قابلیت فهم) را ارائه می‌دهد.

به عنوان مثال، در وظیفه‌ی استنتاج متنی (Natural Language Inference – NLI) که در e-SNLI مورد بررسی قرار گرفته، مدل باید تشخیص دهد که آیا یک گزاره (hypothesis) از یک متن اصلی (premise) نتیجه می‌شود (entailment)، با آن تناقض دارد (contradiction)، یا نامرتبط است (neutral). REFER می‌تواند با شناسایی کلمات یا عبارات کلیدی در premise که به طور مستقیم باعث استنتاج entailment یا contradiction می‌شوند، توضیح دهد که چرا چنین پیش‌بینی‌ای صورت گرفته است. برای مثال، اگر متن اصلی شامل “The dog chased the ball” و گزاره شامل “The animal ran after an object” باشد، REFER کلماتی مانند “dog” و “chased” و “ball” را برجسته می‌کند و نشان می‌دهد که این کلمات دلیل اصلی پیش‌بینی entailment بوده‌اند.

۶. کاربردها و دستاوردها

چارچوب REFER پیامدهای مهمی برای توسعه مدل‌های هوش مصنوعی قابل فهم در صنایع مختلف دارد:

۶.۱. بهبود اعتماد به مدل‌های NLP

در حوزه‌هایی مانند خدمات مشتری (چت‌بات‌ها)، تحلیل احساسات، و تولید محتوا، توانایی درک چرایی یک پاسخ یا پیش‌بینی، اعتماد کاربران را به سیستم‌های هوش مصنوعی افزایش می‌دهد. REFER با ارائه توضیحات شفاف و وفادار، به این امر کمک می‌کند.

۶.۲. تسهیل دیباگینگ و توسعه مدل

برای توسعه‌دهندگان، درک اینکه چرا یک مدل در شرایط خاصی دچار خطا می‌شود، حیاتی است. با برجسته کردن بخش‌های ورودی که مدل به اشتباه بر آن‌ها تمرکز کرده، REFER می‌تواند فرآیند دیباگینگ را تسریع بخشد.

۶.۳. کاربرد در حوزه پزشکی و حقوقی

در کاربردهای حساس مانند تشخیص بیماری از روی متون پزشکی یا تحلیل اسناد حقوقی، ارائه توضیحات قابل اعتماد و قابل ردیابی برای تصمیمات مدل، امری ضروری است. REFER می‌تواند با افزایش قابلیت اطمینان به این مدل‌ها، در این حوزه‌ها نیز مورد استفاده قرار گیرد.

۶.۴. شفافیت در تصمیم‌گیری‌های خودکار

هرچه سیستم‌های خودکار نقش بیشتری در زندگی روزمره ایفا می‌کنند، نیاز به شفافیت در فرآیند تصمیم‌گیری آن‌ها بیشتر احساس می‌شود. REFER گامی در جهت دستیابی به این شفافیت است.

۶.۵. نتایج عملی برجسته

دستاورد اصلی REFER، ارائه یک روش عملی و اثبات‌شده برای دستیابی به توضیحات بهتر است. بهبود ۱۱٪ و ۳٪ در معیارهای ترکیبی، نشان‌دهنده تفاوت واقعی و قابل اندازه‌گیری است که این چارچوب ایجاد می‌کند. این نتایج،REFER را به یک ابزار ارزشمند برای پژوهشگران و توسعه‌دهندگان در زمینه XAI تبدیل می‌کند.

۷. نتیجه‌گیری

مقاله «REFER: An End-to-end Rationale Extraction Framework for Explanation Regularization» با معرفی چارچوب REFER، گامی مهم و بلندپروازانه در حوزه هوش مصنوعی قابل توضیح برداشته است. این پژوهش با ارائه یک رویکرد یکپارچه که استخراج استدلال و آموزش مدل اصلی را از طریق یک استخراج‌گر دیفرانسیل‌پذیر به هم پیوند می‌زند، توانسته است به نتایج قابل توجهی در زمینه افزایش وفاداری، قابلیت فهم و دقت مدل‌ها دست یابد.

نقطه قوت اصلی REFER در توانایی آن برای «منظم‌سازی توضیحات» است؛ به این معنی که فرآیند تولید توضیحات، نه تنها به عنوان یک خروجی جانبی، بلکه به عنوان بخشی فعال از فرآیند یادگیری مدل عمل می‌کند. این هم‌افزایی بین استخراج استدلال و وظیفه اصلی، منجر به مدل‌هایی می‌شود که هم کارآمدتر و هم قابل درک‌تر هستند.

یافته‌های این مقاله نشان می‌دهد که توسعه مدل‌های XAI باید به سمت رویکردهای یکپارچه و دیفرانسیل‌پذیر سوق داده شود، به جای رویکردهای مجزا و مبتنی بر قوانین. نتایج امیدوارکننده در مجموعه داده‌های معتبر و همچنین عملکرد قوی در شرایط توزیع-خارج، REFER را به یک چارچوب promising برای کاربردهای عملی تبدیل می‌کند.

به طور کلی، REFER راه را برای نسل بعدی مدل‌های هوش مصنوعی هموار می‌سازد؛ مدل‌هایی که نه تنها توانایی حل مسائل پیچیده را دارند، بلکه قادر به توضیح منطق پشت تصمیمات خود به شیوه‌ای شفاف و قابل اعتماد برای انسان نیز هستند. این امر برای آینده‌ای که در آن هوش مصنوعی نقش پررنگ‌تری در زندگی ما ایفا می‌کند، حیاتی است.