در سال‌های اخیر، با پیشرفت خیره‌کننده هوش مصنوعی (AI) و به‌ویژه مدل‌های زبانی بزرگ (LLMs)، مسئله «انصاف» و «اخلاق» در این فناوری‌ها به یکی از داغ‌ترین موضوعات تحقیقاتی تبدیل شده است. پژوهش‌های فراوانی به بررسی و کاهش بایاس‌ها (سوگیری‌ها) علیه گروه‌های اجتماعی خاص مانند جنسیت، نژاد و دین پرداخته‌اند. با این حال، یکی از قدیمی‌ترین و فراگیرترین مشکلات تبعیض در جهان، یعنی بایاس منطقه‌ای (Regional Bias)، تا حد زیادی در حوزه پردازش زبان طبیعی (NLP) ناشناخته باقی مانده بود.

مقاله «HERB: اندازه‌گیری بایاس منطقه‌ای سلسله‌مراتبی در مدل‌های زبانی از پیش آموزش‌دیده» با هدف پر کردن این شکاف تحقیقاتی مهم ارائه شده است. این پژوهش نه‌تنها وجود بایاس‌های منطقه‌ای ریشه‌دار در مدل‌های زبانی مدرن را اثبات می‌کند، بلکه نشان می‌دهد که این سوگیری‌ها ساختاری پیچیده و «سلسله‌مراتبی» دارند. اهمیت این مقاله در ارائه یک چارچوب نوآورانه برای سنجش دقیق این نوع بایاس نهفته است؛ ابزاری که به توسعه‌دهندگان کمک می‌کند تا سیستم‌های هوش مصنوعی عادلانه‌تر و فراگیرتری برای جامعه جهانی بسازند. در دنیایی که فناوری‌های زبانی به سرعت در حال ادغام در زندگی روزمره ما هستند، درک و مقابله با کلیشه‌های منطقه‌ای در الگوریتم‌ها یک ضرورت انکارناپذیر است.

این مقاله حاصل همکاری گروهی از پژوهشگران برجسته به نام‌های ییژی لی (Yizhi Li)، گه ژانگ (Ge Zhang)، بوهاو یانگ (Bohao Yang)، چنگ‌هوا لین (Chenghua Lin)، شی وانگ (Shi Wang)، آنتون رگنی (Anton Ragni) و جیه فو (Jie Fu) است. این تحقیق در حوزه «محاسبات و زبان» (Computation and Language) قرار می‌گیرد و بخشی از یک جنبش گسترده‌تر در جامعه علمی برای ترویج هوش مصنوعی مسئولانه (Responsible AI) به شمار می‌رود.

زمینه این پژوهش، ارزیابی و افزایش انصاف در مدل‌های زبانی از پیش آموزش‌دیده (PLMs) است. این مدل‌ها که بر روی حجم عظیمی از داده‌های متنی اینترنت آموزش می‌بینند، ناخواسته بایاس‌های موجود در این داده‌ها را می‌آموزند. مقاله HERB با تمرکز بر بایاس منطقه‌ای، به چالش کشیدن کلیشه‌هایی می‌پردازد که می‌تواند به تبعیض علیه افراد بر اساس ملیت یا منطقه جغرافیایی آن‌ها منجر شود.

مقاله حاضر به بررسی یک شکاف مهم در مطالعات انصاف در NLP می‌پردازد: بایاس منطقه‌ای. نویسندگان نه‌تنها وجود این بایاس را در مدل‌های زبانی پرکاربرد تأیید می‌کنند، بلکه کشف مهمی را نیز ارائه می‌دهند: سوگیری‌ها علیه گروه‌های منطقه‌ای به شدت تحت تأثیر خوشه‌بندی جغرافیایی آن گروه‌ها قرار دارند. به عبارت دیگر، بایاس علیه یک کشور خاص، اغلب با بایاس علیه منطقه یا قاره‌ای که آن کشور در آن قرار دارد، مرتبط است.

بر اساس این یافته، پژوهشگران روشی نوین به نام HERB (HiErarchical Regional Bias) را برای ارزیابی بایاس منطقه‌ای پیشنهاد می‌کنند. این روش از اطلاعات خوشه‌های زیرمنطقه‌ای برای کمی‌سازی دقیق‌تر سوگیری‌ها در مدل‌های زبانی بهره می‌برد. آزمایش‌های انجام‌شده نشان می‌دهد که متریک سلسله‌مراتبی HERB می‌تواند به طور مؤثری بایاس منطقه‌ای را در موضوعات مختلف ارزیابی کرده و پتانسیل انتقال این بایاس به وظایف پایین‌دستی (downstream tasks) مانند تحلیل احساسات یا طبقه‌بندی متن را اندازه‌گیری کند. این پژوهش با ارائه یک ابزار دقیق، گامی مهم در جهت شناسایی و در نهایت، کاهش تبعیض‌های جغرافیایی در سیستم‌های هوش مصنوعی برمی‌دارد.

نوآوری اصلی مقاله در روش‌شناسی پیشنهادی آن، یعنی HERB، نهفته است. برخلاف روش‌های سنتی که هر منطقه یا کشور را به صورت مجزا تحلیل می‌کنند، HERB یک رویکرد سلسله‌مراتبی را اتخاذ می‌کند که با ساختار واقعی کلیشه‌های جهانی همخوانی بیشتری دارد.

مراحل اصلی این روش‌شناسی به شرح زیر است:

• تعریف ساختار سلسله‌مراتبی جغرافیایی: در ابتدا، یک ساختار درختی از مناطق جغرافیایی جهان تعریف می‌شود. این ساختار از کلان‌ترین سطح (مثلاً قاره‌ها) شروع شده و به سطوح خردتر (مانند زیرقاره‌ها و کشورها) تقسیم می‌شود. برای مثال: آسیا -> آسیای شرقی -> ژاپن.
• ایجاد الگوهای زبانی (Templates): برای سنجش بایاس، از الگوهای جمله‌ای استاندارد استفاده می‌شود. این الگوها شامل یک جای خالی برای نام منطقه و یک جای خالی برای یک صفت یا مفهوم هستند. برای مثال: «مردم اهل [کشور] معمولاً [صفت] هستند.»
• سنجش احتمالات مدل: مدل زبانی از پیش آموزش‌دیده (مانند BERT یا GPT) وظیفه دارد تا محتمل‌ترین کلمات را برای پر کردن جای خالی صفت پیش‌بینی کند. احتمال بالایی که مدل به یک صفت کلیشه‌ای (مثلاً “سخت‌کوش” برای یک کشور و “تنبل” برای کشوری دیگر) اختصاص می‌دهد، نشان‌دهنده وجود بایاس است.
• محاسبه بایاس سلسله‌مراتبی: این بخش، هسته اصلی نوآوری HERB است. در این روش، بایاس یک کشور (گره فرزند) تحت تأثیر بایاس منطقه مادر (گره والد) در نظر گرفته می‌شود. به عنوان مثال، اگر مدل یک بایاس منفی کلی نسبت به «اروپای جنوبی» داشته باشد، این بایاس به احتمال زیاد بر ارزیابی مدل از کشورهایی مانند «اسپانیا» و «ایتالیا» نیز تأثیر می‌گذارد. HERB این تأثیرات بین سطحی را به صورت ریاضی مدل‌سازی کرده و یک امتیاز بایاس جامع‌تر و پایدارتر ارائه می‌دهد.

این رویکرد سلسله‌مراتبی به HERB اجازه می‌دهد تا الگوهای پیچیده بایاس را که در آن کلیشه‌ها در سطوح مختلف جغرافیایی (از قاره‌ای تا ملی) به هم مرتبط هستند، شناسایی کند. این دقت بالا، HERB را به ابزاری قدرتمند برای تحلیل عمیق سوگیری‌های منطقه‌ای تبدیل می‌کند.

آزمایش‌های گسترده‌ای که توسط نویسندگان مقاله انجام شد، به چندین یافته مهم و قابل تأمل منجر گردید:

• تأیید وجود بایاس منطقه‌ای گسترده: نتایج به وضوح نشان داد که مدل‌های زبانی برجسته، سوگیری‌های منطقه‌ای قابل توجهی را از داده‌های آموزشی خود آموخته‌اند. این مدل‌ها به طور مداوم صفات و مفاهیم خاصی را با مناطق جغرافیایی مختلف مرتبط می‌کردند که بسیاری از آن‌ها ریشه در کلیشه‌های تاریخی و فرهنگی دارند.
• بایاس‌ها از ساختار جغرافیایی پیروی می‌کنند: مهم‌ترین یافته این بود که بایاس‌ها تصادفی نیستند، بلکه به صورت جغرافیایی خوشه‌بندی شده‌اند. برای مثال، مدل‌ها ممکن است کلیشه‌های مشابهی را به کشورهای حوزه اسکاندیناوی نسبت دهند که با کلیشه‌های مرتبط با کشورهای خاورمیانه متفاوت است. این کشف، فرضیه اصلی محققان مبنی بر ماهیت سلسله‌مراتبی بایاس را تأیید کرد.
• برتری متریک HERB: در مقایسه با روش‌های ارزیابی غیرسلسله‌مراتبی، HERB توانست به شکل مؤثرتری این الگوهای پیچیده و خوشه‌ای بایاس را شناسایی و کمی‌سازی کند. این نشان می‌دهد که در نظر گرفتن ساختار جغرافیایی برای درک کامل بایاس منطقه‌ای ضروری است.
• سرایت بایاس به کاربردهای واقعی: پژوهش نشان داد که بایاس‌های شناسایی‌شده صرفاً یک مشکل نظری نیستند و می‌توانند به طور مستقیم بر عملکرد وظایف پایین‌دستی تأثیر بگذارند. برای مثال، یک سیستم تحلیل احساسات که از یک مدل زبانی بایاس‌دار استفاده می‌کند، ممکن است یک متن خبری خنثی درباره یک کشور خاص را به اشتباه «منفی» ارزیابی کند. یا یک ابزار استخدام مبتنی بر هوش مصنوعی ممکن است به طور ناعادلانه رزومه‌های متقاضیان از مناطق خاصی را رد کند.

مقاله HERB دستاوردهای مهمی برای جامعه پردازش زبان طبیعی و توسعه‌دهندگان هوش مصنوعی به ارمغان آورده است:

• ارائه یک ابزار تشخیصی قدرتمند: HERB یک متریک جدید و دقیق برای ممیزی (audit) مدل‌های زبانی از نظر بایاس منطقه‌ای فراهم می‌کند. توسعه‌دهندگان می‌توانند از این ابزار برای ارزیابی مدل‌های خود قبل از عرضه به بازار استفاده کنند.
• افزایش آگاهی در مورد یک بایاس پنهان: این تحقیق توجه جامعه علمی را به یک شکل کمتر مطالعه‌شده اما بسیار مهم از بایاس جلب می‌کند و راه را برای پژوهش‌های آتی در این زمینه هموار می‌سازد.
• گامی به سوی هوش مصنوعی عادلانه‌تر: با شناسایی دقیق بایاس، اولین قدم برای کاهش آن برداشته می‌شود. HERB به ساخت سیستم‌های هوش مصنوعی کمک می‌کند که در مقیاس جهانی منصفانه‌تر عمل کرده و از تقویت کلیشه‌های مضر جلوگیری کنند.
• دسترسی آزاد به کدها: نویسندگان کدها و ابزارهای خود را به صورت عمومی منتشر کرده‌اند که این امر به شفافیت، تکرارپذیری نتایج و استفاده گسترده‌تر از این روش توسط سایر محققان کمک شایانی می‌کند.

مقاله «HERB» با موفقیت یک مسئله حیاتی اما مغفول‌مانده در حوزه انصاف هوش مصنوعی، یعنی بایاس منطقه‌ای سلسله‌مراتبی، را مورد بررسی قرار می‌دهد. این پژوهش نه‌تنها ثابت می‌کند که مدل‌های زبانی مدرن حامل کلیشه‌های جغرافیایی عمیقی هستند، بلکه نشان می‌دهد این بایاس‌ها دارای ساختاری پیچیده و مرتبط با هم می‌باشند.

با معرفی روش نوآورانه HERB، این مقاله یک ابزار کارآمد برای اندازه‌گیری دقیق این نوع سوگیری ارائه می‌دهد. این دستاورد برای توسعه‌دهندگان، پژوهشگران و سیاست‌گذارانی که به دنبال ساختن فناوری‌های هوش مصنوعی مسئولانه و فراگیر هستند، بسیار ارزشمند است. شناسایی و اندازه‌گیری بایاس اولین و ضروری‌ترین گام برای مقابله با آن است. کار ارزشمند این محققان مسیری روشن را برای تحقیقات آینده در زمینه توسعه تکنیک‌های کاهش بایاس (debiasing) نشان می‌دهد تا بتوانیم از پتانسیل کامل هوش مصنوعی در خدمت به تمام مردم جهان، بدون تبعیض و پیش‌داوری، بهره‌مند شویم.