مدل‌های ترانسفورمر (Transformer) انقلابی در حوزه پردازش زبان طبیعی (NLP) به پا کرده و در طیف وسیعی از وظایف، از ترجمه ماشینی گرفته تا تحلیل احساسات، به نتایج پیشرفته‌ای دست یافته‌اند. قلب تپنده این مدل‌ها، مکانیسم توجه (Attention Mechanism) است که به آن‌ها اجازه می‌دهد تا روابط پیچیده و ظریف زبانی میان کلمات و عبارات را در یک متن مدل‌سازی کنند. با این حال، این قدرت و پیچیدگی به قیمت کاهش تفسیرپذیری (Interpretability) تمام شده است. ترانسفورمرها اغلب به عنوان «جعبه سیاه» شناخته می‌شوند؛ یعنی با وجود عملکرد فوق‌العاده، درک چگونگی و چرایی تصمیم‌گیری‌هایشان دشوار است.

اهمیت این موضوع زمانی دوچندان می‌شود که این مدل‌ها در حوزه‌های حساسی مانند پزشکی، حقوق و امور مالی به کار گرفته می‌شوند؛ حوزه‌هایی که تصمیمات الگوریتمی می‌توانند مستقیماً بر زندگی انسان‌ها تأثیر بگذارند. در چنین شرایطی، توانایی ارائه دلیل و منطق برای یک تصمیم، یک ویژگی حیاتی برای مدل محسوب می‌شود. این مقاله با عنوان «هر تصمیم، یک ماتریس توجه» به طور مستقیم به این چالش می‌پردازد و روشی نوآورانه برای انتخاب بهترین و «وفادارترین» تفسیر از میان انبوه تفاسیر ممکن در مدل‌های ترانسفورمر ارائه می‌دهد.

این مقاله حاصل پژوهش نیکولاس میلوناس (Nikolaos Mylonas)، یوانیس مولاس (Ioannis Mollas) و گریگوریوس تسوماکاس (Grigorios Tsoumakas) است. این پژوهشگران در زمینه یادگیری ماشین و پردازش زبان طبیعی فعالیت دارند و کار آن‌ها در راستای یک حوزه تحقیقاتی بسیار مهم و رو به رشد به نام هوش مصنوعی قابل توضیح (Explainable AI – XAI) قرار می‌گیرد. هدف اصلی XAI، توسعه تکنیک‌ها و مدل‌هایی است که نه‌تنها دقیق هستند، بلکه فرآیند تصمیم‌گیری خود را نیز به شکلی قابل فهم برای انسان‌ها آشکار می‌سازند. این مقاله به طور خاص بر تفسیرپذیری مدل‌های ترانسفورمر تمرکز دارد که یکی از داغ‌ترین موضوعات در جامعه تحقیقاتی هوش مصنوعی است.

چالش اصلی در تفسیر مدل‌های ترانسفورمر این است که آن‌ها دارای چندین لایه و در هر لایه دارای چندین «سر توجه» (Attention Head) هستند. هر یک از این سرها یک ماتریس توجه تولید می‌کند که می‌تواند به عنوان یک تفسیر از نحوه تمرکز مدل بر بخش‌های مختلف ورودی در نظر گرفته شود. این تعدد منابع توجه، به انبوهی از تفاسیر بالقوه منجر می‌شود. سوال اساسی این است: کدام یک از این تفاسیر یا کدام ترکیب از آن‌ها به بهترین شکل فرآیند واقعی تصمیم‌گیری مدل را بازتاب می‌دهد؟

پژوهشگران در این مقاله یک تکنیک جدید برای حل این مشکل پیشنهاد می‌کنند. این تکنیک به جای ترکیب ساده یا میانگین‌گیری از ماتریس‌های توجه، یک فرآیند «داوری» را معرفی می‌کند تا وفادارترین (most faithful) تفسیر را از میان گزینه‌های موجود انتخاب کند. وفاداری در اینجا به این معناست که تفسیر انتخاب‌شده تا چه حد به طور دقیق منعکس‌کننده دلایل واقعی مدل برای اتخاذ یک تصمیم خاص است. علاوه بر این، مقاله دو نسخه بهبودیافته از این روش را نیز معرفی می‌کند: یکی با هدف کاهش پیچیدگی محاسباتی و افزایش سرعت، و دیگری برای بهبود عملکرد در مواجهه با داده‌های چندبرچسبی (Multi-label Data) که در آن هر نمونه می‌تواند به چندین دسته تعلق داشته باشد. در نهایت، یک معیار جدید برای سنجش وفاداری نیز پیشنهاد شده است که تناسب بیشتری با ساختار ترانسفورمرها دارد.

روش پیشنهادی این مقاله بر پایه یک اصل کلیدی استوار است: انتخاب تفسیری که بیشترین همبستگی را با رفتار مدل دارد. برای دستیابی به این هدف، چندین مرحله طی می‌شود:

• تولید تفاسیر کاندید: در ابتدا، مجموعه‌ای از تفاسیر مختلف از مدل استخراج می‌شود. این تفاسیر می‌توانند شامل ماتریس‌های توجه از لایه‌ها و سرهای مختلف یا ترکیبات ریاضی گوناگون از آن‌ها (مانند میانگین‌گیری یا انتخاب حداکثر مقدار) باشند.
• مفهوم وفاداری (Faithfulness): وفاداری به عنوان معیاری برای سنجش تأثیر واقعی یک ویژگی (مثلاً یک کلمه) بر خروجی مدل تعریف می‌شود. یک تفسیر وفادار، کلماتی را برجسته می‌کند که حذف آن‌ها بیشترین تغییر را در تصمیم نهایی مدل ایجاد کند. برای مثال، در جمله «این فیلم یک شاهکار سینمایی بود»، یک تفسیر وفادار برای برچسب «مثبت» باید کلمات «شاهکار» و «سینمایی» را به عنوان مهم‌ترین کلمات شناسایی کند.
• الگوریتم داوری: روش پیشنهادی، هر یک از تفاسیر کاندید را با استفاده از یک معیار وفاداری ارزیابی می‌کند. تفسیری که بالاترین امتیاز وفاداری را کسب کند، به عنوان توضیح نهایی برای تصمیم مدل انتخاب می‌شود. این فرآیند داوری تضمین می‌کند که تفسیر نهایی، صرفاً یک حدس مبتنی بر الگوهای توجه نیست، بلکه به طور مستقیم با منطق استدلالی مدل مرتبط است.
• معیار وفاداری جدید: محققان دریافتند که معیارهای وفاداری موجود ممکن است برای ساختار پیچیده ترانسفورمرها کاملاً مناسب نباشند. از این رو، آن‌ها یک معیار جدید را توسعه دادند که به طور خاص برای ارزیابی تفاسیر توجه‌محور طراحی شده و نشان داده شده است که همبستگی بالایی با معیارهای مبتنی بر منطق‌های انسانی (ground truth rationales) دارد.
• نسخه‌های بهبودیافته:
  • نسخه بهینه محاسباتی: برای کاهش هزینه‌های محاسباتی، یک نسخه تقریبی از الگوریتم ارائه شده است که بدون قربانی کردن کیفیت، سرعت فرآیند انتخاب را به شکل چشمگیری افزایش می‌دهد. این امر استفاده از این روش را در مقیاس‌های بزرگ عملی‌تر می‌کند.
  • نسخه چندبرچسبی: برای وظایف طبقه‌بندی چندبرچسبی، الگوریتم به گونه‌ای تطبیق داده شده است که بتواند برای هر برچسب، یک تفسیر مستقل و وفادار ارائه دهد.

برای ارزیابی کارایی روش‌های پیشنهادی، نویسندگان مجموعه‌ای از آزمایش‌های کمی و کیفی را بر روی هفت مجموعه داده استاندارد در حوزه طبقه‌بندی متن انجام دادند. نتایج به دست آمده بسیار امیدوارکننده بود و یافته‌های کلیدی زیر را می‌توان برشمرد:

• روش داوری پیشنهادی به طور مداوم تفاسیری را انتخاب می‌کند که به مراتب وفادارتر از روش‌های پیشین (مانند میانگین‌گیری ساده از تمام سرهای توجه) هستند.
• معیار وفاداری جدید، همبستگی بسیار بالایی با ناحیه زیر منحنی دقت-بازخوانی (AUC-PR) نشان می‌دهد که بر اساس منطق‌های ارائه‌شده توسط انسان محاسبه شده است. این بدان معناست که تفاسیر منتخب، با درک انسانی از اهمیت کلمات در متن همخوانی دارند.
• نسخه کم‌هزینه از نظر محاسباتی، ضمن حفظ عملکردی نزدیک به نسخه اصلی، به طور قابل توجهی سریع‌تر است و آن را به گزینه‌ای مناسب برای کاربردهای صنعتی و محیط‌زیست‌دوست‌تر تبدیل می‌کند.
• نسخه طراحی‌شده برای داده‌های چندبرچسبی، عملکرد بهتری را در این نوع داده‌ها از خود نشان داد و توانست برای هر برچسب، توضیحات معناداری ارائه دهد.
• تحلیل‌های کیفی و مصورسازی‌ها نشان داد که تفاسیر انتخاب‌شده توسط این روش، به طور شهودی قابل درک هستند و به خوبی کلمات کلیدی مؤثر در تصمیم مدل را برجسته می‌کنند.

دستاوردها و کاربردهای این پژوهش فراتر از یک پیشرفت آکادمیک صرف است و پیامدهای عملی مهمی را به همراه دارد:

افزایش اعتماد به هوش مصنوعی: با ارائه توضیحات دقیق و وفادار، می‌توان اعتماد کاربران و متخصصان را به مدل‌های پیچیده‌ای مانند ترانسفورمرها جلب کرد. یک پزشک با دیدن اینکه مدل بر اساس علائم کلیدی در گزارش پزشکی یک تشخیص را پیشنهاد داده است، با اطمینان بیشتری از آن استفاده خواهد کرد.

اشکال‌زدایی و بهبود مدل: تفسیرپذیری به توسعه‌دهندگان کمک می‌کند تا بفهمند چرا یک مدل در یک مورد خاص دچار خطا شده است. با تحلیل تفاسیر نادرست، می‌توان نقاط ضعف مدل را شناسایی و داده‌های آموزشی را برای رفع آن سوگیری‌ها یا خطاها بهبود بخشید.

کشف دانش جدید: با بررسی تفاسیری که مدل ارائه می‌دهد، می‌توان الگوهای زبانی جدید یا روابط پنهانی در داده‌ها را کشف کرد که ممکن است از دید انسان پنهان مانده باشد.

تضمین عدالت و شفافیت: در کاربردهایی مانند استخدام یا اعطای وام، ارائه توضیح برای تصمیمات مدل‌های هوش مصنوعی برای جلوگیری از سوگیری‌های ناعادلانه و تبعیض ضروری است. این روش گامی مهم در جهت تحقق هوش مصنوعی مسئولانه (Responsible AI) است.

مقاله «هر تصمیم، یک ماتریس توجه» یک راه‌حل هوشمندانه و مؤثر برای یکی از بزرگ‌ترین چالش‌های مدل‌های ترانسفورمر، یعنی تفسیرپذیری، ارائه می‌دهد. این پژوهش با معرفی یک چارچوب داوری مبتنی بر وفاداری، به جای تکیه بر روش‌های ساده‌انگارانه، راهی برای انتخاب معنادارترین و دقیق‌ترین تفسیر از میان انبوه احتمالات باز می‌کند. ارائه نسخه‌های بهینه از نظر محاسباتی و سازگار با داده‌های چندبرچسبی، به همراه یک معیار ارزیابی جدید و مؤثر، این کار را به یک مجموعه ابزار کامل و کاربردی برای محققان و مهندسان هوش مصنوعی تبدیل کرده است. این پژوهش گامی بلند در جهت تبدیل جعبه‌های سیاه به سیستم‌های شفاف و قابل اعتماد است و مسیر را برای استفاده ایمن‌تر و مسئولانه‌تر از مدل‌های زبانی پیشرفته در دنیای واقعی هموارتر می‌سازد.