در دهه‌های اخیر، پیشرفت‌های چشمگیر در حوزه پردازش زبان طبیعی (NLP) و یادگیری عمیق، به خلق مدل‌های زبانی بسیار قدرتمند اما پیچیده‌ای منجر شده است. این مدل‌ها که اغلب به عنوان «جعبه سیاه» (Black Box) شناخته می‌شوند، با وجود دقت بالا در انجام وظایفی مانند دسته‌بندی متن، تحلیل احساسات یا تشخیص اطلاعات نادرست، فرآیند تصمیم‌گیری شفافی ندارند. این عدم شفافیت، چالشی جدی برای پذیرش و اعتماد به این سیستم‌ها در کاربردهای حساس و حیاتی ایجاد می‌کند. چگونه می‌توان به تصمیم یک مدل هوش مصنوعی برای رد یک درخواست وام، تشخیص یک محتوای مخرب یا برچسب‌گذاری یک خبر به عنوان «جعلی» اعتماد کرد، وقتی دلیل این تصمیم را نمی‌دانیم؟

مقاله «به سوی معیارهای تبیین‌پذیری انسان‌محور برای دسته‌بندی متن» به قلم ویکتور شلگل و همکارانش، دقیقاً به قلب این چالش می‌زند. این مقاله که یک «مقاله موضعی» (Position Paper) است، استدلال می‌کند که جامعه علمی NLP باید تمرکز خود را از معیارهای صرفاً مبتنی بر دقت، به سمت ارزیابی تبیین‌پذیری (Explainability) مدل‌ها تغییر دهد. اهمیت این مقاله در آن است که یک خلاء بزرگ را در فرآیند ارزیابی مدل‌های کنونی شناسایی کرده و یک نقشه راه عملی برای پر کردن آن ارائه می‌دهد: ایجاد معیارهای ارزیابی جدیدی که نه تنها کارایی مدل، بلکه توانایی آن در ارائه توضیحات قابل فهم و مفید برای انسان را نیز بسنجد. این رویکرد، گامی اساسی به سوی ساخت سیستم‌های هوش مصنوعی قابل اعتماد، مسئولیت‌پذیر و کارآمدتر در تعامل با انسان است.

این مقاله توسط تیمی از پژوهشگران برجسته در حوزه پردازش زبان طبیعی و هوش مصنوعی، شامل ویکتور شلگل (Viktor Schlegel)، اریک مندز-گوزمان (Erick Mendez-Guzman) و ریزا باتیستا-ناوارو (Riza Batista-Navarro) به نگارش درآمده است. این پژوهشگران که در دانشگاه منچستر فعالیت می‌کنند، در زمینه هوش مصنوعی قابل توضیح (XAI) و کاربردهای آن در تحلیل متن تخصص دارند.

زمینه این تحقیق، شاخه‌ای از علوم کامپیوتر با عنوان «محاسبات و زبان» (Computation and Language) است که به درک و تولید زبان انسان توسط ماشین‌ها می‌پردازد. این مقاله در تلاقی دو جریان مهم علمی قرار دارد: از یک سو، پیشرفت‌های سریع در معماری‌های یادگیری عمیق که مدل‌های بزرگ و پیچیده را به ارمغان آورده‌اند و از سوی دیگر، افزایش تقاضای اجتماعی و صنعتی برای سیستم‌های هوش مصنوعی شفاف، منصفانه و قابل اعتماد (Trustworthy AI). این پژوهش پاسخی به این نیاز روزافزون است و تلاش می‌کند تا پلی میان توانایی‌های فنی مدل‌ها و انتظارات کاربران انسانی برقرار کند.

مقاله استدلال می‌کند که پیشرفت در وظایف پردازش زبان طبیعی، مانند دسته‌بندی متن، عمدتاً از طریق معیارهای ارزیابی استاندارد، مقیاس‌پذیر و تکرارپذیر (که به آن‌ها محک یا Benchmark می‌گویند) هدایت می‌شود. با این حال، این محک‌های موجود، نمایانگر سناریوهای واقعی که مدل‌های دسته‌بندی متن در آن‌ها به کار گرفته می‌شوند (مانند تحلیل احساسات در شبکه‌های اجتماعی یا تشخیص اخبار جعلی) نیستند. نویسندگان برای حل این مشکل، دو پیشنهاد اصلی را مطرح می‌کنند:

• گسترش محک‌های موجود: پیشنهاد اول این است که محک‌های فعلی برای دسته‌بندی متن، فراتر از سنجش دقت، قابلیت تبیین‌پذیری مدل‌ها را نیز ارزیابی کنند. این یعنی علاوه بر پاسخ به سؤال «این متن چه برچسبی دارد؟»، باید به سؤال «چرا این برچسب را انتخاب کردی؟» نیز پاسخ داده شود.
• ارزیابی انسان‌محور: نویسندگان چالش‌های ارزیابی عینی و خودکار «توضیحات خوب» را بررسی می‌کنند و به این نتیجه می‌رسند که راه حل، در محک‌های انسان‌محور (Human-Centred Benchmarks) نهفته است. این یعنی ارزیابی توضیحات باید بر اساس قضاوت و نیازهای انسان در کاربردهای واقعی صورت گیرد. برای این منظور، روش‌هایی مانند استفاده از بازی‌وارسازی (Gamification)، تحلیل تعاملات در رسانه‌های اجتماعی و یادگیری معیارهای ارزیابی از روی قضاوت‌های انسانی پیشنهاد می‌شود.

در واقع، این مقاله خواستار یک تغییر پارادایم است: حرکت از ارزیابی‌های صرفاً کمی و ماشینی به سمت ارزیابی‌های کیفی و انسانی که در آن، «مفید بودن» یک توضیح برای کاربر نهایی، به اندازه «صحت» آن برای مدل اهمیت دارد.

از آنجا که این یک مقاله موضعی است، روش تحقیق آن مبتنی بر آزمایش‌های تجربی نیست، بلکه بر تحلیل انتقادی وضعیت موجود و ارائه یک چارچوب مفهومی جدید استوار است. رویکرد نویسندگان شامل موارد زیر است:

• تحلیل شکاف (Gap Analysis): نویسندگان وضعیت فعلی محک‌های NLP مانند GLUE و SuperGLUE را بررسی کرده و نشان می‌دهند که این معیارها تقریباً به طور کامل بر روی عملکرد نهایی مدل متمرکز هستند و جنبه تبیین‌پذیری را نادیده می‌گیرند.
• مرور ادبیات: مقاله به بررسی چالش‌های موجود در ارزیابی تبیین‌پذیری می‌پردازد. یکی از این چالش‌ها، تقابل میان وفاداری (Faithfulness) و قابل قبول بودن (Plausibility) یک توضیح است. یک توضیح وفادار، دقیقاً نشان می‌دهد که مدل چگونه به تصمیم رسیده، اما ممکن است برای انسان پیچیده و غیرقابل فهم باشد. در مقابل، یک توضیح قابل قبول، برای انسان قانع‌کننده است، اما ممکن است ساده‌سازی بیش از حدی از فرآیند واقعی مدل باشد.
• ارائه راهکارهای پیشنهادی: بخش اصلی روش‌شناسی این مقاله، پیشنهاد سه رویکرد نوآورانه برای ایجاد محک‌های انسان‌محور است:
  1. بازی‌وارسازی (Gamification): طراحی بازی‌هایی که در آن کاربر با کمک یک مدل هوش مصنوعی، وظیفه‌ای را انجام می‌دهد. برای مثال، یک بازی که در آن بازیکن باید با استفاده از توضیحات ارائه‌شده توسط یک مدل، اخبار جعلی را از واقعی تشخیص دهد. موفقیت بازیکن و بازخوردهای او می‌تواند معیاری برای سنجش کیفیت توضیحات مدل باشد.
  2. استفاده از رسانه‌های اجتماعی: تحلیل تعاملات کاربران در پلتفرم‌هایی مانند توییتر یا ردیت برای جمع‌آوری داده‌های واقعی در مورد اینکه چه نوع توضیحاتی برای انسان‌ها مفید و قانع‌کننده است. برای مثال، می‌توان بازخورد کاربران به ربات‌های حقیقت‌سنج را تحلیل کرد.
  3. یادگیری از قضاوت‌های انسانی: ایجاد مجموعه داده‌هایی که در آن، انسان‌ها کیفیت توضیحات مختلف ارائه‌شده توسط مدل‌ها را برای یک تصمیم مشخص، رتبه‌بندی می‌کنند. سپس می‌توان یک «مدل متا» (Meta-Model) را آموزش داد تا به صورت خودکار، توضیحات جدید را بر اساس الگوهای آموخته‌شده از ترجیحات انسانی ارزیابی کند. این رویکرد، مقیاس‌پذیری ارزیابی خودکار را با دقت قضاوت انسانی ترکیب می‌کند.

«یافته‌های» این مقاله، مجموعه‌ای از استدلال‌ها و نتایج تحلیلی هستند که مسیر آینده پژوهش در حوزه XAI را روشن می‌کنند:

• ناکافی بودن معیارهای فعلی: اصلی‌ترین یافته این است که معیارهای مبتنی بر دقت، تصویر کاملی از کارایی یک مدل در دنیای واقعی ارائه نمی‌دهند. در بسیاری از کاربردها، «چگونگی» رسیدن به پاسخ به اندازه خود پاسخ اهمیت دارد و معیارهای فعلی این جنبه را به کلی نادیده می‌گیرند.
• تبیین‌پذیری، یک مفهوم وابسته به کاربر: مقاله به این نتیجه می‌رسد که «توضیح خوب» یک مفهوم مطلق نیست و کاملاً به کاربر نهایی و زمینه استفاده بستگی دارد. توضیحی که برای یک توسعه‌دهنده به منظور اشکال‌زدایی مدل مفید است، با توضیحی که برای یک کاربر عادی جهت ایجاد اعتماد لازم است، تفاوت دارد.
• ضرورت دخالت انسان در حلقه ارزیابی: به دلیل ماهیت انسان‌محور تبیین‌پذیری، هرگونه تلاش برای ارزیابی آن بدون دخالت مستقیم انسان، ناقص و احتمالاً گمراه‌کننده خواهد بود. راه حل‌های پیشنهادی مقاله همگی بر محوریت قرار دادن قضاوت و تعامل انسانی تأکید دارند.

بزرگترین دستاورد این مقاله، ارائه یک نقشه راه روشن و یک «فراخوان به اقدام» (Call to Action) برای جامعه پژوهشی NLP است. با این حال، ایده‌های مطرح‌شده در آن کاربردهای عملی گسترده‌ای دارند:

• افزایش اعتماد و پذیرش سیستم‌های هوش مصنوعی: در حوزه‌هایی مانند پزشکی، حقوق و امور مالی، که تصمیمات هوش مصنوعی می‌توانند تأثیرات عمیقی بر زندگی افراد داشته باشند، تبیین‌پذیری یک پیش‌نیاز برای اعتماد است. سیستم‌هایی که بتوانند دلایل تصمیمات خود را به وضوح بیان کنند، با مقاومت کمتری از سوی متخصصان و کاربران نهایی مواجه خواهند شد.
• تسهیل همکاری انسان و ماشین: مدل‌های تبیین‌پذیر می‌توانند به عنوان دستیاران هوشمند برای انسان‌ها عمل کنند. به عنوان مثال، یک روزنامه‌نگار می‌تواند با کمک یک سیستم حقیقت‌سنج که دلایل مشکوک بودن به یک خبر را (مثلاً استفاده از زبان هیجانی یا استناد به منابع نامعتبر) توضیح می‌دهد، با سرعت و دقت بیشتری کار کند.
• اشکال‌زدایی و بهبود مدل‌ها: توضیحات به توسعه‌دهندگان کمک می‌کنند تا بفهمند چرا مدلشان در موارد خاصی دچار خطا می‌شود. این امر می‌تواند به شناسایی سوگیری‌ها (Biases) در داده‌های آموزشی یا ضعف‌های معماری مدل منجر شود. برای مثال، اگر یک مدل تحلیل احساسات، جملات حاوی کلمه «ارزان» را همیشه منفی ارزیابی می‌کند، توضیحات می‌توانند این الگوی نادرست را آشکار کنند.
• تضمین انصاف و عدالت: تبیین‌پذیری ابزاری قدرتمند برای شناسایی و کاهش سوگیری‌های ناعادلانه در مدل‌ها است. با بررسی توضیحات، می‌توان دریافت که آیا یک مدل استخدام، تصمیمات خود را بر اساس متغیرهای نامرتبط و حساس مانند جنسیت یا قومیت (که ممکن است به صورت غیرمستقیم در متن رزومه وجود داشته باشند) بنا می‌کند یا خیر.

مقاله «به سوی معیارهای تبیین‌پذیری انسان‌محور برای دسته‌بندی متن» یک اثر تأثیرگذار و به‌موقع است که به یکی از مهم‌ترین چالش‌های پیش روی هوش مصنوعی مدرن می‌پردازد. پیام اصلی آن روشن است: زمان آن فرارسیده که از وسواس برای بهبود چند دهم درصدی دقت مدل‌ها عبور کرده و به همان اندازه برای ساخت مدل‌هایی که قابل درک و قابل اعتماد هستند، تلاش کنیم.

نویسندگان با موفقیت استدلال می‌کنند که ارزیابی تبیین‌پذیری نباید یک فکر ثانویه باشد، بلکه باید به بخشی جدایی‌ناپذیر از چرخه توسعه و ارزیابی مدل‌های NLP تبدیل شود. پیشنهادهای عملی آن‌ها برای ایجاد محک‌های انسان‌محور، مسیری امیدبخش برای آینده‌ای را ترسیم می‌کند که در آن، هوش مصنوعی نه تنها به عنوان یک ابزار قدرتمند، بلکه به عنوان یک همکار شفاف و قابل اعتماد در کنار انسان قرار می‌گیرد.