در دهه‌های اخیر، شبکه‌های عصبی عمیق (Deep Neural Networks) به ابزارهای قدرتمندی در حوزه یادگیری ماشین، به ویژه در پردازش زبان طبیعی (NLP) تبدیل شده‌اند. این مدل‌ها قادر به دستیابی به عملکردهای خیره‌کننده در وظایفی مانند تحلیل احساسات، ترجمه ماشینی و پاسخ به سوالات هستند. با این حال، یک چالش اساسی همواره با این مدل‌ها همراه بوده است: ماهیت «جعبه سیاه» (Black Box) آن‌ها. این بدان معناست که اگرچه مدل‌ها پیش‌بینی‌های دقیقی ارائه می‌دهند، اما فرآیند تصمیم‌گیری و منطق پشت این پیش‌بینی‌ها اغلب پنهان و غیرقابل درک برای انسان است.

این عدم شفافیت می‌تواند در کاربردهای حساس مانند تشخیص پزشکی، تحلیل‌های حقوقی یا ارزیابی‌های مالی، مشکلات جدی در زمینه اعتماد، مسئولیت‌پذیری و رفع اشکال ایجاد کند. در پاسخ به این چالش، حوزه هوش مصنوعی قابل تبیین (Explainable AI – XAI) ظهور کرده است که هدف آن توسعه روش‌هایی برای روشن ساختن فرآیند تصمیم‌گیری مدل‌های پیچیده است.

مقاله «تبیین دسته‌بندی‌کننده‌های پردازش زبان طبیعی با انسداد و مدل‌سازی زبان» نوشته دیوید هاربک، یک گام مهم و نوآورانه در این مسیر است. این مقاله روش جدیدی به نام OLM (Occlusion and Language Modeling) را معرفی می‌کند که به طور خاص برای تبیین مدل‌های دسته‌بندی‌کننده در حوزه NLP طراحی شده است. اهمیت این پژوهش در ارائه یک رویکرد با مبانی نظری مستحکم و خروجی‌های قابل فهم برای انسان نهفته است که به پر کردن شکاف میان قدرت پیش‌بینی و قابلیت درک مدل‌های زبانی مدرن کمک شایانی می‌کند.

این مقاله توسط دیوید هاربک (David Harbecke) به رشته تحریر درآمده و در حوزه تلاقی دو رشته کلیدی علوم کامپیوتر، یعنی محاسبات و زبان (Computation and Language) و یادگیری ماشین (Machine Learning)، قرار می‌گیرد. این حوزه‌ها هسته اصلی پیشرفت‌های اخیر در هوش مصنوعی را تشکیل می‌دهند.

تمرکز مقاله بر یکی از چالش‌های بنیادی یادگیری ماشین مدرن، یعنی «تبیین‌پذیری»، نشان‌دهنده حرکت جامعه علمی به سمت ساخت سیستم‌های هوش مصنوعی مسئولیت‌پذیرتر، قابل اعتمادتر و شفاف‌تر است. این تحقیق در ادامه تلاش‌های گسترده‌ای صورت گرفته که به دنبال درک عمیق‌تر نحوه عملکرد مدل‌های پیچیده‌ای مانند BERT، GPT و سایر معماری‌های مبتنی بر ترنسفورمر هستند.

مقاله با تاکید بر قدرت یادگیری آماری شبکه‌های عصبی عمیق آغاز می‌شود و بلافاصله به نقطه ضعف اصلی آن‌ها، یعنی عدم ارائه تبیین برای پیش‌بینی‌هایشان، اشاره می‌کند. برای رفع این مشکل، نویسنده یک روش تبیین جدید به نام OLM را معرفی می‌کند که دو تکنیک محوری را با هم ترکیب می‌کند:

• انسداد (Occlusion): یکی از روش‌های شهودی برای درک اهمیت اجزای ورودی که در آن بخش‌هایی از متن (کلمات یا عبارات) به صورت سیستماتیک حذف یا پوشانده می‌شوند تا تاثیر آن‌ها بر خروجی مدل سنجیده شود.
• مدل‌سازی زبان (Language Modeling): رویکرد نوآورانه مقاله که به جای جایگزینی کلمات حذف‌شده با یک توکن ساده (مانند [MASK])، از یک مدل زبان برای تولید جایگزین‌های محتمل و طبیعی استفاده می‌کند.

ترکیب این دو رویکرد، تبیین‌هایی را به دست می‌دهد که هم از نظر نظری مستحکم هستند و هم به سادگی توسط انسان قابل تفسیرند. علاوه بر معرفی OLM، مقاله چندین سهم نظری مهم نیز دارد. نویسنده به بررسی اصول موضوعه (Axioms) برای روش‌های تبیین می‌پردازد، یک اصل موضوعه جدید را معرفی کرده و نشان می‌دهد که این اصل با یکی از اصول موجود در تضاد است. این امر به درک عمیق‌تر مبانی نظری تبیین‌پذیری کمک می‌کند. همچنین، مقاله مشکلات نظری روش‌های موجود مبتنی بر گرادیان و برخی روش‌های مبتنی بر انسداد را در حوزه NLP برجسته می‌سازد. در نهایت، OLM به صورت تجربی با سایر روش‌ها مقایسه شده و ویژگی‌های منحصر به فرد آن نشان داده می‌شود.

روش‌شناسی این تحقیق بر پایه معرفی و ارزیابی متد OLM استوار است. برای درک بهتر این روش، ابتدا باید به چالش‌های روش‌های پیشین بپردازیم.

چالش‌های روش‌های موجود:
روش‌های مبتنی بر گرادیان (Gradient-based)، که اهمیت یک ورودی را با محاسبه مشتق خروجی نسبت به آن ورودی می‌سنجند، در داده‌های پیوسته مانند تصاویر عملکرد خوبی دارند. اما در حوزه NLP که با داده‌های گسسته (کلمات) سروکار داریم، مفهوم گرادیان مستقیم چندان معنادار نیست و این روش‌ها با مشکلات نظری مواجه می‌شوند. از سوی دیگر، روش‌های ساده انسداد که کلمات را با یک توکن ثابت جایگزین می‌کنند، ورودی‌هایی خارج از توزیع داده‌های طبیعی (out-of-distribution) ایجاد می‌کنند که می‌تواند مدل را سردرگم کرده و به تبیین‌های نامعتبر منجر شود.

معرفی روش OLM:
روش OLM برای غلبه بر این مشکلات طراحی شده است. فرآیند کار آن به این صورت است:

1. انتخاب بخش مورد نظر: ابتدا یک کلمه یا عبارت از متن ورودی برای ارزیابی اهمیت آن انتخاب می‌شود.
2. انسداد هوشمند با مدل‌سازی زبان: به جای حذف کامل یا جایگزینی با یک توکن بی‌معنی، OLM از یک مدل زبان (مانند BERT یا GPT-2) استفاده می‌کند تا بر اساس کلمات باقی‌مانده در جمله، یک جایگزین محتمل و معقول برای بخش حذف‌شده تولید کند. این کار باعث می‌شود جمله جدید همچنان از نظر گرامری و معنایی طبیعی باقی بماند.
3. سنجش تغییر در خروجی: مدل دسته‌بندی‌کننده (که قصد تبیین آن را داریم) با ورودی تغییریافته فراخوانی می‌شود و خروجی جدید با خروجی اصلی مقایسه می‌گردد.
4. محاسبه اهمیت: میزان تغییر در احتمال پیش‌بینی کلاس اصلی، به عنوان شاخصی از اهمیت کلمه یا عبارت حذف‌شده در نظر گرفته می‌شود. هرچه این تغییر بزرگتر باشد، آن بخش از متن برای تصمیم مدل مهم‌تر بوده است.

برای مثال، جمله «این فیلم اصلا بد نبود» را در یک مدل تحلیل احساسات در نظر بگیرید که آن را به درستی «مثبت» دسته‌بندی کرده است. یک روش انسداد ساده ممکن است کلمه «بد» را حذف کند و اهمیت آن را بسنجد. اما OLM ممکن است عبارت «اصلا بد نبود» را با عبارتی که توسط مدل زبان پیشنهاد می‌شود، مانند «بسیار جذاب بود»، جایگزین کند و تغییر در خروجی را مشاهده نماید. این رویکرد به درک نقش عبارات و ساختارهای پیچیده‌تر زبانی در تصمیم‌گیری مدل کمک می‌کند.

مبانی نظری و اصول موضوعه:
مقاله همچنین به بررسی مبانی نظری روش‌های تبیین می‌پردازد. اصول موضوعه، ویژگی‌های بنیادینی هستند که یک روش تبیین ایده‌آل باید داشته باشد (مانند اصل حساسیت یا پیاده‌سازی). نویسنده یک اصل موضوعه جدید معرفی می‌کند و نشان می‌دهد که دستیابی همزمان به تمام اصول موضوعه مطلوب، ممکن است از نظر تئوری غیرممکن باشد، که این بحث به غنای نظری حوزه XAI می‌افزاید.

این پژوهش به چندین یافته مهم و قابل توجه دست یافته است که در ادامه به آن‌ها اشاره می‌شود:

• برتری مفهومی OLM: روش OLM با تولید جایگزین‌های طبیعی به جای حذف ساده، تبیین‌هایی تولید می‌کند که به واقعیت‌های زبانی نزدیک‌تر هستند و از ایجاد ورودی‌های مصنوعی که مدل با آن‌ها آشنا نیست، جلوگیری می‌کند.
• شناسایی ضعف‌های نظری: مقاله به طور مستدل نشان می‌دهد که بسیاری از روش‌های تبیین محبوب، به ویژه روش‌های مبتنی بر گرادیان، هنگام اعمال بر روی داده‌های متنی با چالش‌های نظری جدی روبرو هستند.
• توسعه مبانی نظری: با معرفی یک اصل موضوعه جدید و تحلیل تضاد آن با اصول موجود، این تحقیق درک عمیق‌تری از محدودیت‌ها و بده‌بستان‌های طراحی روش‌های تبیین ارائه می‌دهد.
• دشواری در ارزیابی: یکی از یافته‌های مهم مقاله این است که ارزیابی کمی و عینی روش‌های تبیین بسیار دشوار است. از آنجا که «حقیقت زمینه‌ای» (ground truth) برای یک تبیین خوب وجود ندارد، مقایسه روش‌ها اغلب به معیارهای کیفی و تحلیل‌های موردی وابسته است.
• عملکرد تجربی: نتایج آزمایش‌ها نشان می‌دهد که OLM قادر به شناسایی عبارات و کلمات کلیدی‌ای است که سایر روش‌ها ممکن است از آن‌ها غافل شوند و تبیین‌های آن برای کاربران انسانی قابل فهم‌تر است.

روش OLM و پژوهش‌های مشابه در حوزه هوش مصنوعی قابل تبیین، دستاوردها و کاربردهای عملی گسترده‌ای دارند:

• اشکال‌زدایی و بهبود مدل‌ها: توسعه‌دهندگان می‌توانند با استفاده از OLM بفهمند که چرا یک مدل در یک مورد خاص دچار خطا شده است. برای مثال، اگر یک مدل تحلیل احساسات یک نظر طعنه‌آمیز را اشتباه دسته‌بندی کند، OLM می‌تواند نشان دهد که مدل به کلمات اشتباهی توجه کرده و نیاز به آموزش بیشتری با داده‌های مشابه دارد.
• افزایش اعتماد کاربران: در حوزه‌هایی مانند پزشکی، جایی که یک مدل ممکن است متون پزشکی را برای تشخیص بیماری تحلیل کند، ارائه تبیین برای تصمیمات مدل به پزشکان کمک می‌کند تا به خروجی سیستم اعتماد کرده و از آن به عنوان یک ابزار کمکی موثر استفاده کنند.
• شناسایی و کاهش سوگیری (Bias): روش‌های تبیین می‌توانند نشان دهند که آیا مدل برای تصمیم‌گیری به ویژگی‌های نامطلوب و حساس مانند جنسیت، نژاد یا موقعیت جغرافیایی تکیه می‌کند یا خیر. این امر برای ساخت سیستم‌های هوش مصنوعی عادلانه و اخلاقی حیاتی است.
• کشف دانش جدید: با تحلیل تبیین‌ها، محققان می‌توانند الگوهای زبانی جدیدی را که مدل‌ها به طور خودکار از داده‌ها یاد گرفته‌اند، کشف کنند. این می‌تواند به پیشرفت درک ما از زبان نیز کمک کند.

مقاله «تبیین دسته‌بندی‌کننده‌های پردازش زبان طبیعی با انسداد و مدل‌سازی زبان» یک سهم ارزشمند در زمینه رو به رشد هوش مصنوعی قابل تبیین (XAI) است. این پژوهش با معرفی روش نوآورانه OLM، پاسخی هوشمندانه به چالش تبیین مدل‌های «جعبه سیاه» در پردازش زبان طبیعی ارائه می‌دهد. ترکیب منحصربه‌فرد انسداد با مدل‌سازی زبان، به تولید تبیین‌هایی منجر می‌شود که نه تنها از نظر فنی دقیق‌تر هستند، بلکه برای انسان نیز شهودی و قابل درک می‌باشند.

علاوه بر جنبه عملی، این مقاله با پرداختن به مبانی نظری روش‌های تبیین، معرفی اصول موضوعه جدید و نقد روش‌های موجود، به بلوغ و عمق این حوزه تحقیقاتی کمک می‌کند. این کار نشان می‌دهد که مسیر به سوی هوش مصنوعی کاملاً شفاف و قابل اعتماد، مسیری پیچیده و پر از چالش‌های نظری و عملی است. در نهایت، این تحقیق گامی محکم به سوی آینده‌ای است که در آن سیستم‌های هوش مصنوعی نه تنها قدرتمند و دقیق، بلکه شفاف، قابل اعتماد و مسئولیت‌پذیر نیز خواهند بود.