معرفی مقاله و اهمیت آن

در سال‌های اخیر، پیشرفت‌های چشمگیری در حوزه پردازش زبان طبیعی (NLP) حاصل شده است که منجر به توسعه مدل‌هایی با توانایی‌های شگرف در انجام وظایف پیچیده زبانی شده است. با این حال، افزایش پیچیدگی این مدل‌ها، به ویژه مدل‌های مبتنی بر یادگیری عمیق، اغلب آن‌ها را به جعبه‌های سیاه غیرقابل تفسیر تبدیل کرده است. این عدم شفافیت، اعتماد به نفس کاربران و توسعه‌دهندگان را کاهش داده و مانع از پذیرش گسترده آن‌ها در کاربردهای حساس مانند پزشکی، حقوق و امور مالی می‌شود.

در پاسخ به این چالش، حوزه هوش مصنوعی قابل توضیح (XAI) ظهور کرده است که هدف آن ارائه روش‌هایی برای درک بهتر نحوه تصمیم‌گیری مدل‌هاست. توضیحات تولید شده توسط این روش‌ها به دو دسته اصلی تقسیم می‌شوند: توضیحات پسینی (post-hoc explanations) که پس از انجام پیش‌بینی توسط مدل ارائه می‌شوند (مثلاً با شناسایی کلمات مهم در ورودی)، و مدل‌های ذاتا قابل اعتماد (inherently faithful models) که اساساً به گونه‌ای طراحی شده‌اند که ابتدا بخش‌های مهم ورودی را انتخاب کرده و سپس بر اساس آن‌ها پیش‌بینی می‌کنند.

بیشتر مطالعات و ارزیابی‌های مربوط به این روش‌های توضیحی، تاکنون در محیط‌های درون‌دامنه (in-domain settings) انجام شده‌اند؛ یعنی داده‌های آموزشی و آزمایشی از یک توزیع مشابه برخوردارند. اما در دنیای واقعی، مدل‌ها اغلب با داده‌های خارج از دامنه (out-of-domain – OOD) مواجه می‌شوند که از توزیع متفاوتی نسبت به داده‌های آموزشی برخوردارند. نحوه عملکرد توضیحات در این شرایط خارج از دامنه، یک سوال اساسی و تا حد زیادی بی‌جواب باقی مانده است. این مقاله با عنوان “مطالعه تجربی توضیحات در محیط‌های خارج از دامنه” دقیقاً به این خلأ تحقیقاتی می‌پردازد و اهمیت آن در توانمندسازی ما برای ساخت سیستم‌های هوش مصنوعی قابل اعتمادتر و مقاوم‌تر در برابر تغییرات محیطی نهفته است.

نویسندگان و زمینه تحقیق

این مطالعه مهم توسط George Chrysostomou و Nikolaos Aletras انجام شده است. هر دو نویسنده از پژوهشگران فعال در زمینه پردازش زبان طبیعی (NLP) و هوش مصنوعی قابل توضیح (XAI) هستند. کار آن‌ها به صورت خاص بر جنبه‌های بنیادی تفسیرپذیری و اعتمادپذیری مدل‌های NLP تمرکز دارد.

تحقیقات آن‌ها در چارچوب گسترده‌تر تلاش‌های جامعه علمی برای مقابله با چالش “جعبه سیاه” مدل‌های پیچیده هوش مصنوعی قرار می‌گیرد. با توجه به افزایش کاربرد مدل‌های NLP در حوزه‌های حساس که نیاز به شفافیت و قابلیت حساب‌رسی دارند، مطالعاتی از این دست نقش حیاتی در پیشبرد درک ما از محدودیت‌ها و پتانسیل‌های روش‌های توضیحی ایفا می‌کنند. زمینه تحقیق این مقاله شامل ارزیابی دقیق روش‌های XAI در سناریوهای واقع‌بینانه‌تر، به ویژه در مواجهه با تغییرات توزیع داده‌ها (data shifts) است که از ویژگی‌های بارز دنیای واقعی محسوب می‌شود. این موضوع نه تنها برای محققان NLP بلکه برای مهندسان و سیاست‌گذاران هوش مصنوعی نیز از اهمیت بالایی برخوردار است.

چکیده و خلاصه محتوا

این مقاله به بررسی جامع و تجربی نحوه عملکرد توضیحات مدل‌های NLP در محیط‌های خارج از دامنه (OOD) می‌پردازد. تحقیقات اخیر در پردازش زبان طبیعی بر توسعه رویکردهایی متمرکز بوده‌اند که توضیحات “وفادار” (faithful) را استخراج کنند. این توضیحات یا از طریق شناسایی مهم‌ترین توکن‌های ورودی به دست می‌آیند که به آن‌ها توضیحات پسینی (post-hoc explanations) گفته می‌شود، یا با طراحی مدل‌های ذاتا قابل اعتماد (inherently faithful models) که ابتدا مهم‌ترین توکن‌ها را انتخاب کرده و سپس از آن‌ها برای پیش‌بینی برچسب صحیح استفاده می‌کنند (معروف به مدل‌های “انتخاب-و-پیش‌بینی” (select-then-predict)).

در حال حاضر، این رویکردها عمدتاً در محیط‌های درون‌دامنه ارزیابی می‌شوند، اما اطلاعات کمی درباره عملکرد آن‌ها در شرایط خارج از دامنه وجود دارد. نویسندگان در این مطالعه دو محور اصلی را بررسی کرده‌اند:

1. وفاداری خارج از دامنه (OOD faithfulness) توضیحات پسینی، که توسط پنج روش انتساب ویژگی (feature attribution methods) تولید شده‌اند.
2. عملکرد خارج از دامنه (OOD performance) دو مدل ذاتا قابل اعتماد، بر روی شش مجموعه داده مختلف.

برخلاف انتظارات اولیه، نتایج نشان دادند که در بسیاری از موارد، وفاداری توضیحات پسینی خارج از دامنه – که با معیارهای کفایت (sufficiency) و جامعیت (comprehensiveness) اندازه‌گیری می‌شود – در مقایسه با شرایط درون‌دامنه، بالاتر است. این یافته به دلیل ماهیت گمراه‌کننده‌اش، مورد توجه ویژه نویسندگان قرار گرفته است؛ آن‌ها پیشنهاد می‌کنند که از یک خط مبنای تصادفی (random baseline) به عنوان معیاری برای ارزیابی وفاداری توضیحات پسینی استفاده شود تا از این نوع گمراهی جلوگیری شود.

همچنین، یافته‌ها نشان می‌دهند که مدل‌های “انتخاب-و-پیش‌بینی” در محیط‌های خارج از دامنه، عملکرد پیش‌بینی قابل مقایسه‌ای با مدل‌هایی دارند که بر روی متن کامل آموزش دیده‌اند. این نتیجه نشان‌دهنده پتانسیل مدل‌های ذاتا قابل اعتماد در حفظ عملکرد خود حتی در مواجهه با داده‌های جدید و متفاوت است.

روش‌شناسی تحقیق

این مطالعه تجربی با دقت بالا، رویکردی جامع برای ارزیابی توضیحات در محیط‌های خارج از دامنه اتخاذ کرده است. روش‌شناسی تحقیق بر دو دسته اصلی از مدل‌های توضیحی متمرکز بوده و از مجموعه‌ای از معیارهای ارزیابی و مجموعه‌داده‌ها بهره برده است:

۱. بررسی توضیحات پسینی (Post-hoc Explanations)

برای بررسی وفاداری توضیحات پسینی، پژوهشگران پنج روش مختلف انتساب ویژگی (feature attribution) را به کار گرفتند. این روش‌ها تلاش می‌کنند تا با تخصیص امتیاز اهمیت به هر توکن ورودی (مانند کلمات یا زیرکلمات)، میزان تاثیر آن را در تصمیم نهایی مدل نشان دهند. متاسفانه نام دقیق پنج روش در چکیده ذکر نشده، اما می‌توان حدس زد که شامل روش‌های محبوبی مانند LIME، SHAP، Integrated Gradients، DeepLIFT یا Occlusion باشند که در جامعه XAI شناخته شده‌اند.

معیارهای ارزیابی برای وفاداری این توضیحات عبارت بودند از:

• کفایت (Sufficiency): این معیار بررسی می‌کند که آیا زیرمجموعه‌ای از مهم‌ترین توکن‌های شناسایی شده توسط توضیح‌دهنده، به تنهایی برای مدل کافی هستند تا پیش‌بینی اصلی خود را (یا پیش‌بینی مشابهی) انجام دهد. به عبارت دیگر، اگر فقط کلمات مهم را به مدل بدهیم، آیا مدل هنوز همان نتیجه را می‌دهد؟ وفاداری بالا در کفایت به این معناست که توضیحات، به خوبی عوامل کلیدی تصمیم‌گیری مدل را پوشش می‌دهند.
• جامعیت (Comprehensiveness): این معیار برعکس کفایت عمل می‌کند و ارزیابی می‌کند که حذف مهم‌ترین توکن‌ها تا چه حد بر پیش‌بینی مدل تأثیر می‌گذارد. اگر حذف این توکن‌ها منجر به تغییر قابل توجه یا کاهش اعتماد به نفس مدل در پیش‌بینی شود، نشان‌دهنده جامعیت بالای توضیح است. وفاداری بالا در جامعیت به معنای آن است که توضیح، عوامل واقعاً حیاتی در فرآیند تصمیم‌گیری مدل را شناسایی کرده است.

این معیارها معمولاً برای ارزیابی وفاداری در محیط‌های درون‌دامنه استفاده می‌شوند و هدف این مطالعه بررسی اعتبار آن‌ها در محیط‌های خارج از دامنه بود.

۲. بررسی مدل‌های ذاتا قابل اعتماد (Inherently Faithful Models / Select-then-predict)

در بخش دوم، عملکرد خارج از دامنه دو مدل “انتخاب-و-پیش‌بینی” (select-then-predict) مورد ارزیابی قرار گرفت. این مدل‌ها به گونه‌ای طراحی شده‌اند که به صورت ذاتی شفاف باشند؛ آن‌ها ابتدا مجموعه‌ای از ویژگی‌های مهم را از ورودی انتخاب می‌کنند و سپس از این ویژگی‌های منتخب برای انجام پیش‌بینی استفاده می‌کنند. این رویکرد ذاتاً قابل توضیح است زیرا فرآیند انتخاب ویژگی‌های مهم، بخشی از معماری خود مدل است و نه یک مرحله پسینی.

برای این مدل‌ها، معیار اصلی ارزیابی، عملکرد پیش‌بینی (predictive performance) در محیط‌های خارج از دامنه بود. این عملکرد با مدل‌های استاندارد (که بر روی متن کامل آموزش دیده‌اند) مقایسه شد تا مشخص شود آیا سادگی و شفافیت این مدل‌ها منجر به کاهش کارایی در مواجهه با داده‌های جدید می‌شود یا خیر.

۳. مجموعه‌داده‌ها و سناریوهای خارج از دامنه

پژوهشگران از شش مجموعه‌داده مختلف استفاده کردند. تنوع این مجموعه‌داده‌ها احتمالاً تضمین‌کننده آن بوده است که مطالعات در طیف وسیعی از وظایف و دامنه‌های زبانی انجام شود. این امر برای بررسی سناریوهای خارج از دامنه حیاتی است؛ زیرا “خارج از دامنه” می‌تواند به معنای تغییر در توزیع موضوعی، سبک نگارش، واژگان یا حتی وظیفه مورد نظر باشد.

برای شبیه‌سازی شرایط خارج از دامنه، احتمالاً این پژوهشگران مدل‌ها را بر روی بخشی از یک مجموعه‌داده یا یک مجموعه‌داده خاص آموزش داده و سپس آن‌ها را بر روی مجموعه‌داده‌های دیگر (که از توزیع متفاوتی برخوردارند) یا بخش‌هایی از همان مجموعه‌داده که دارای ویژگی‌های متمایز هستند، ارزیابی کرده‌اند. این رویکرد به آن‌ها امکان می‌دهد تا اثرات تغییرات توزیع داده‌ها بر وفاداری توضیحات و عملکرد مدل‌ها را با دقت بررسی کنند.

یافته‌های کلیدی

مطالعه تجربی انجام شده توسط Chrysostomou و Aletras به نتایج مهم و تا حدودی غیرمنتظره‌ای منجر شد که درک ما از ارزیابی XAI در محیط‌های OOD را تغییر می‌دهد:

• وفاداری گمراه‌کننده توضیحات پسینی در محیط‌های خارج از دامنه:

  یکی از شگفت‌انگیزترین یافته‌ها این بود که در بسیاری از موارد، وفاداری توضیحات پسینی خارج از دامنه (اندازه‌گیری شده با معیارهای کفایت و جامعیت) در مقایسه با وفاداری درون‌دامنه، بالاتر بود. این نتیجه به ظاهر مثبت، بسیار گمراه‌کننده است. به طور شهودی، انتظار می‌رود که در شرایط OOD، مدل‌ها با داده‌های ناآشنا مواجه شوند و در نتیجه توضیحات آن‌ها نیز کمتر وفادار باشند، زیرا ممکن است بر ویژگی‌هایی تمرکز کنند که دیگر در دامنه جدید مرتبط نیستند.

  پژوهشگران این پدیده را “گمراه‌کننده” توصیف می‌کنند زیرا وفاداری بالاتر لزوماً به معنای توضیحات بهتر نیست. ممکن است این اتفاق به دلیل ماهیت معیارها یا ویژگی‌های خاص داده‌های OOD رخ دهد. برای مثال، شاید در محیط‌های OOD، مدل‌ها به ویژگی‌های بسیار کلی‌تر و کم‌مفهوم‌تری تکیه کنند که به طور تصادفی در داده‌های OOD نیز “مهم” به نظر برسند، اما در واقعیت، توانایی آن‌ها در توضیح تصمیمات واقعی مدل کاهش یافته است. مثالی عملی می‌تواند زمانی باشد که یک مدل تحلیل احساسات، کلمه “good” را در یک متن درون‌دامنه به عنوان مهم‌ترین کلمه برای یک احساس مثبت شناسایی کند. در یک محیط OOD، حتی اگر مدل کلمات مهم را به درستی تشخیص ندهد، ممکن است با حدس زدن کلیت متن (مثلاً اگر متن کوتاه‌تر و ساده‌تر باشد) به طور تصادفی وفاداری بالاتری در معیارهای کفایت و جامعیت نشان دهد، در حالی که در واقعیت، توضیح آن نسبت به عملکرد واقعی مدل در آن دامنه جدید کمتر دقیق است.

• لزوم استفاده از خط مبنای تصادفی:

  برای مقابله با این پدیده گمراه‌کننده، نویسندگان پیشنهاد می‌کنند که هنگام ارزیابی وفاداری توضیحات پسینی، حتماً از یک خط مبنای تصادفی (random baseline) استفاده شود. این خط مبنا به عنوان یک معیار مقایسه عمل می‌کند و به پژوهشگران اجازه می‌دهد تا ارزیابی کنند که آیا وفاداری مشاهده شده از طریق روش‌های توضیحی، واقعاً بهتر از آن چیزی است که به صورت تصادفی انتظار می‌رود. اگر وفاداری یک توضیح پسینی نسبت به یک انتخاب تصادفی از توکن‌ها، بهبود چشمگیری نشان ندهد، پس آن توضیح ارزش عملی محدودی دارد، حتی اگر مقادیر ظاهراً بالایی در معیارهای سنتی کفایت و جامعیت نشان دهد.

  این توصیه یک دستاورد متدولوژیک بسیار مهم است که می‌تواند به استانداردسازی ارزیابی XAI کمک کند و از تفسیر نادرست نتایج جلوگیری نماید.

• عملکرد قابل مقایسه مدل‌های انتخاب-و-پیش‌بینی:

  یافته دیگر این بود که مدل‌های “انتخاب-و-پیش‌بینی” (select-then-predict) در محیط‌های خارج از دامنه، عملکرد پیش‌بینی قابل مقایسه‌ای با مدل‌های سنتی (که بر روی متن کامل آموزش دیده‌اند) از خود نشان دادند. این یک نتیجه دلگرم‌کننده است، زیرا نشان می‌دهد مدل‌هایی که به طور ذاتی شفاف هستند و تنها بر بخش‌های منتخب ورودی برای تصمیم‌گیری تکیه می‌کنند، می‌توانند همان سطح از دقت پیش‌بینی را در سناریوهای OOD حفظ کنند.

  این بدان معناست که برای کاربردهایی که هم نیاز به دقت بالا و هم شفافیت دارند، می‌توان به مدل‌های “انتخاب-و-پیش‌بینی” به عنوان جایگزین‌های قدرتمند برای مدل‌های جعبه سیاه نگاه کرد، بدون اینکه نگران کاهش شدید عملکرد در مواجهه با داده‌های جدید باشیم.

کاربردها و دستاوردها

یافته‌های این مطالعه پیامدهای عملی مهمی برای توسعه و ارزیابی سیستم‌های پردازش زبان طبیعی (NLP) و هوش مصنوعی قابل توضیح (XAI) دارد، به ویژه در مواجهه با سناریوهای واقعی و غیرمنتظره:

• ارزیابی دقیق‌تر و قابل اعتمادتر XAI:

  توصیه به استفاده از خط مبنای تصادفی برای ارزیابی وفاداری توضیحات پسینی، یک گام مهم در جهت استانداردسازی و افزایش دقت معیارهای XAI است. این کار از ایجاد توهم وفاداری در شرایط OOD جلوگیری کرده و به محققان و توسعه‌دهندگان کمک می‌کند تا ارزش واقعی روش‌های توضیحی را درک کنند. این دستاورد به معنای طراحی آزمون‌هایی است که به ما می‌گویند آیا توضیحات ما واقعاً هوشمندانه هستند یا فقط شانس آورده‌اند.

• توسعه مدل‌های NLP مقاوم‌تر و شفاف‌تر:

  درک نحوه عملکرد توضیحات در محیط‌های خارج از دامنه برای ساخت مدل‌های NLP قوی و مقاوم ضروری است. در کاربردهای حیاتی مانند تشخیص پزشکی (که ممکن است مدل با داده‌های بیمارستانی جدید یا پروتکل‌های درمانی متفاوت مواجه شود) یا سیستم‌های حقوقی (که قوانین و رویه‌ها ممکن است تغییر کنند)، نیاز به مدل‌هایی است که نه تنها خوب پیش‌بینی کنند بلکه بتوانند تصمیمات خود را به طور قابل اعتماد توضیح دهند، حتی زمانی که با داده‌هایی خارج از آموزش اصلی خود روبرو می‌شوند.

  یافته‌ها همچنین این امید را ایجاد می‌کنند که مدل‌های ذاتا قابل اعتماد، گزینه‌های مناسبی برای اینگونه کاربردها باشند، زیرا می‌توانند بدون افت چشمگیر در عملکرد، شفافیت را در شرایط OOD حفظ کنند.

• افزایش اعتماد و پذیرش هوش مصنوعی:

  یکی از بزرگترین موانع در پذیرش گسترده سیستم‌های هوش مصنوعی، عدم اعتماد کاربران به دلیل عدم شفافیت است. با ارزیابی دقیق‌تر و اطمینان از اینکه توضیحات در شرایط واقعی و متغیر نیز وفادار هستند، می‌توانیم اعتماد بیشتری را در کاربران نهایی ایجاد کنیم. این امر به ویژه در صنایع با ریسک بالا که نیاز به قابلیت حساب‌رسی (accountability) دارند، بسیار مهم است.

• راهنمایی برای طراحی مدل‌های آینده:

  نتایج این مطالعه نشان می‌دهد که سرمایه‌گذاری بیشتر بر روی مدل‌های “انتخاب-و-پیش‌بینی” (select-then-predict) و سایر رویکردهای ذاتا قابل اعتماد، می‌تواند به توسعه نسل جدیدی از مدل‌های NLP منجر شود که هم دقیق و هم قابل تفسیر هستند، حتی در مواجهه با تغییرات داده‌ای. این یک دستاورد مهم در حوزه طراحی مدل است که نشان می‌دهد شفافیت می‌تواند از ابتدا در معماری مدل گنجانده شود، نه اینکه به عنوان یک ویژگی پسینی اضافه شود.

• مثال عملی:

  فرض کنید یک مدل NLP برای طبقه‌بندی ایمیل‌های اسپم در یک سازمان آموزش داده شده است. پس از مدتی، مهاجمان الگوهای جدیدی برای ایمیل‌های اسپم ایجاد می‌کنند که با داده‌های آموزشی اولیه متفاوت است (محیط OOD). اگر مدل همچنان بتواند با دقت بالا ایمیل‌ها را طبقه‌بندی کند و مهم‌تر از آن، بتواند کلمات یا عباراتی را به عنوان دلایل اسپم بودن به طور قابل اعتماد توضیح دهد، این نشان‌دهنده پایداری و اعتمادپذیری سیستم است. اما اگر توضیحات آن در این محیط OOD تنها به طور تصادفی “وفادار” به نظر برسند (همانطور که یافته‌های این مقاله هشدار می‌دهند)، آنگاه نمی‌توانیم به آن توضیحات برای فهم ریشه مشکل یا بهبود سیستم اعتماد کنیم. اینجا نقش خط مبنای تصادفی برای تفکیک وفاداری واقعی از وفاداری کاذب روشن می‌شود.

نتیجه‌گیری

مطالعه تجربی “توضیحات در محیط‌های خارج از دامنه” توسط George Chrysostomou و Nikolaos Aletras یک پژوهش محوری است که به طور اساسی درک ما از قابلیت اطمینان و تفسیرپذیری مدل‌های NLP را در سناریوهای دنیای واقعی به چالش می‌کشد و تکمیل می‌کند. این مقاله با تمرکز بر چگونگی عملکرد توضیحات پسینی و مدل‌های ذاتا قابل اعتماد در مواجهه با داده‌های خارج از دامنه (OOD)، خلأ مهمی در ادبیات علمی را پر کرده است.

یافته‌های کلیدی این مطالعه نشان دادند که رویکردهای سنتی ارزیابی وفاداری توضیحات، مانند کفایت و جامعیت، می‌توانند در محیط‌های OOD نتایج گمراه‌کننده‌ای ارائه دهند، به گونه‌ای که وفاداری ظاهراً بالاتر از شرایط درون‌دامنه به نظر برسد. برای مقابله با این معضل، نویسندگان به درستی بر لزوم استفاده از خط مبنای تصادفی به عنوان یک ابزار حیاتی برای ارزیابی صادقانه وفاداری تاکید کرده‌اند. این پیشنهاد یک دستاورد متدولوژیک مهم است که می‌تواند به استانداردسازی و بهبود کیفیت تحقیقات در هوش مصنوعی قابل توضیح (XAI) کمک شایانی کند.

از سوی دیگر، این پژوهش نشان داد که مدل‌های “انتخاب-و-پیش‌بینی” (select-then-predict)، که به صورت ذاتی شفاف هستند، می‌توانند در محیط‌های خارج از دامنه نیز عملکرد پیش‌بینی قابل مقایسه‌ای با مدل‌های پیچیده‌تر و جعبه سیاه داشته باشند. این یافته بسیار دلگرم‌کننده است، زیرا راه را برای توسعه سیستم‌های هوش مصنوعی باز می‌کند که نه تنها قدرتمند هستند، بلکه به طور همزمان قابل درک و اعتمادپذیر نیز هستند، حتی زمانی که با تغییرات غیرمنتظره در داده‌ها مواجه می‌شوند.

در مجموع، این مقاله نه تنها ما را نسبت به محدودیت‌های فعلی روش‌های ارزیابی XAI آگاه می‌سازد، بلکه مسیرهای جدیدی را برای طراحی مدل‌های NLP مقاوم‌تر و استراتژی‌های ارزیابی معتبرتر ارائه می‌دهد. تاکید بر پایداری توضیحات در شرایط خارج از دامنه، برای کاربردهای حیاتی هوش مصنوعی در آینده، از اهمیت حیاتی برخوردار است و این مطالعه گامی مهم در این راستا محسوب می‌شود.