سوگیری‌های فرهنگی، جنسیتی، قومی و نژادی دهه‌هاست که در جوامع بشری وجود داشته و بر بسیاری از جنبه‌های تعاملات اجتماعی انسان تأثیر گذاشته‌اند. با ظهور عصر دیجیتال و هوش مصنوعی، این سوگیری‌ها به شکل جدیدی در الگوریتم‌ها و مدل‌های یادگیری ماشین (ML) بازتولید شده‌اند. این پدیده، به‌ویژه در حوزه پردازش زبان طبیعی (NLP)، می‌تواند عواقب جدی و ناخواسته‌ای برای وظایف پایین‌دستی مانند ترجمه ماشینی، تحلیل احساسات و مهم‌تر از همه، بازیابی اطلاعات (IR) داشته باشد.

سیستم‌های بازیابی اطلاعات، مانند موتورهای جستجو، ستون فقرات دسترسی ما به اطلاعات در دنیای امروز هستند. وقتی یک کاربر عبارتی مانند «برنامه‌نویسان برجسته» را جستجو می‌کند، انتظار دارد نتایجی بی‌طرف و مبتنی بر شایستگی دریافت کند. اما اگر مدل زیربنایی این سیستم، تحت تأثیر سوگیری‌های موجود در داده‌های آموزشی خود باشد، ممکن است به طور نامتناسبی نتایج مربوط به مردان را نمایش دهد و دستاوردهای زنان را نادیده بگیرد. این امر نه تنها دسترسی به اطلاعات کامل را مختل می‌کند، بلکه به تقویت و تداوم کلیشه‌های مضر اجتماعی نیز کمک می‌کند.

مقاله «رفع سوگیری جنسیتی در مدل‌های بازیابی اطلاعات» به طور مستقیم به قلب این چالش مهم می‌پردازد. این تحقیق نه تنها وجود سوگیری جنسیتی در مدل‌های پیشرفته زبانی را به صورت تجربی اثبات می‌کند، بلکه یک روش نوآورانه برای کاهش این سوگیری ارائه می‌دهد. اهمیت این کار در آن است که گامی عملی به سوی ساختن سیستم‌های هوش مصنوعی عادلانه‌تر، فراگیرتر و مسئولانه‌تر برمی‌دارد؛ سیستم‌هایی که به جای تکرار اشتباهات گذشته، به ایجاد آینده‌ای برابرتر کمک کنند.

این مقاله توسط داناسکار سوندارارامان (Dhanasekar Sundararaman) و ویوک سوبرامانیان (Vivek Subramanian) به نگارش درآمده است. این تحقیق در حوزه‌های تخصصی «محاسبات و زبان» (Computation and Language) و «بازیابی اطلاعات» (Information Retrieval) طبقه‌بندی می‌شود که نشان‌دهنده ماهیت میان‌رشته‌ای آن است.

• محاسبات و زبان (پردازش زبان طبیعی – NLP): این شاخه از هوش مصنوعی بر توانمندسازی رایانه‌ها برای درک، تفسیر و تولید زبان انسانی تمرکز دارد.
• بازیابی اطلاعات (IR): این حوزه به علم و فناوری جستجوی اطلاعات در اسناد، بازیابی اسناد مرتبط با یک پرس‌وجو و رتبه‌بندی نتایج بر اساس میزان ارتباط می‌پردازد.

این پژوهش دقیقاً در نقطه تلاقی این دو حوزه قرار می‌گیرد. نویسندگان از تکنیک‌های پیشرفته NLP برای تحلیل و بهبود مدل‌های IR استفاده می‌کنند و یک مسئله فنی-اجتماعی حیاتی را مورد بررسی قرار می‌دهند: چگونه می‌توان اطمینان حاصل کرد که سیستم‌های جستجوی ما، که بر پایه مدل‌های زبانی پیچیده ساخته شده‌اند، اطلاعات را به شیوه‌ای بی‌طرفانه و بدون سوگیری جنسیتی ارائه می‌دهند.

مقاله با این مقدمه آغاز می‌شود که سوگیری‌ها بخشی جدایی‌ناپذیر از تعاملات انسانی بوده و به مدل‌های یادگیری ماشین نیز راه یافته‌اند. در پردازش زبان طبیعی، این امر می‌تواند پیامدهای شدیدی داشته باشد. کاهش سوگیری جنسیتی در بازیابی اطلاعات برای جلوگیری از انتشار کلیشه‌ها امری حیاتی است. در این تحقیق، نویسندگان از یک مجموعه داده دو بخشی استفاده می‌کنند: (۱) میزان ارتباط یک سند با یک پرس‌وجو و (۲) «جنسیت» یک سند، که در آن ضمایر با صرف‌های مذکر، مؤنث و خنثی جایگزین شده‌اند.

آنها به طور قطعی نشان می‌دهند که مدل‌های از پیش آموزش‌دیده برای بازیابی اطلاعات، در وظایف «بازیابی شات-صفر» (zero-shot retrieval) عملکرد خوبی ندارند، به خصوص زمانی که تنظیم دقیق کامل (full fine-tuning) روی یک رمزگذار بزرگ BERT انجام شود. در مقابل، تنظیم دقیق سبک (lightweight fine-tuning) با استفاده از شبکه‌های تطبیق‌دهنده (adapter networks) عملکرد بازیابی شات-صفر را تقریباً ۲۰٪ نسبت به مدل پایه بهبود می‌بخشد.

علاوه بر این، مقاله نشان می‌دهد که مدل‌های از پیش آموزش‌دیده دارای سوگیری جنسیتی هستند که باعث می‌شود اسناد بازیابی‌شده بیشتر مردانه باشند تا زنانه. برای غلبه بر این مشکل، نویسندگان یک تکنیک رفع سوگیری معرفی می‌کنند که مدل را در صورت ترجیح دادن اسناد مردانه به زنانه جریمه می‌کند. این روش منجر به ایجاد یک مدل کارآمد می‌شود که اسناد را به شیوه‌ای متعادل از نظر جنسیتی بازیابی می‌کند.

یکی از نقاط قوت اصلی این مقاله، روش‌شناسی دقیق و خلاقانه آن برای اندازه‌گیری و مقابله با سوگیری است. این رویکرد بر سه ستون اصلی استوار است: یک مجموعه داده منحصربه‌فرد، مقایسه روش‌های آموزش، و یک تکنیک جدید برای رفع سوگیری.

• مجموعه داده نوآورانه: محققان یک مجموعه داده طراحی کردند که به آن‌ها اجازه می‌داد تأثیر جنسیت را به طور مجزا از محتوای معنایی بررسی کنند. برای این کار، هر سند در مجموعه داده به سه نسخه تبدیل شد: یک نسخه با ضمایر و نشانه‌های مردانه (مثلاً “his”, “he”)، یک نسخه با نشانه‌های زنانه (مثلاً “her”, “she”) و یک نسخه خنثی (مثلاً “their”, “they”). این طراحی هوشمندانه به آن‌ها امکان داد تا بررسی کنند آیا مدل، صرفاً به دلیل وجود کلمات جنسیتی، امتیاز ارتباط متفاوتی به دو سند با محتوای یکسان می‌دهد یا خیر.
• مقایسه روش‌های تنظیم دقیق (Fine-tuning): مدل‌های زبانی بزرگ مانند BERT برای استفاده در یک وظیفه خاص نیاز به «تنظیم دقیق» دارند. نویسندگان دو رویکرد را مقایسه کردند:
  • تنظیم دقیق کامل: در این روش سنتی، تمام میلیون‌ها پارامتر مدل اصلی BERT برای وظیفه جدید (بازیابی اطلاعات) به‌روزرسانی می‌شوند.
  • تنظیم دقیق سبک با شبکه‌های تطبیق‌دهنده (Adapters): در این روش مدرن‌تر، بدنه اصلی مدل BERT ثابت (freeze) باقی می‌ماند و فقط لایه‌های کوچک و کارآمدی به نام «تطبیق‌دهنده» آموزش داده می‌شوند. این روش از نظر محاسباتی بسیار بهینه‌تر است.
• تکنیک رفع سوگیری مبتنی بر جریمه: این مهم‌ترین نوآوری مقاله است. محققان یک تابع زیان (loss function) جدید طراحی کردند که به طور فعال با سوگیری مقابله می‌کند. در طول فرآیند آموزش، اگر مدل به نسخه مردانه یک سند امتیاز ارتباط بالاتری نسبت به نسخه زنانه همان سند (با محتوای یکسان) اختصاص دهد، یک «جریمه» به مدل اعمال می‌شود. این جریمه مدل را وادار می‌کند تا یاد بگیرد که به نشانگرهای جنسیتی بی‌توجه باشد و تنها بر اساس محتوای واقعی سند قضاوت کند. این فرآیند شبیه به آن است که یک مربی، ورزشکار خود را برای تکرار یک خطای مشخص اصلاح کند تا زمانی که آن خطا به طور کامل برطرف شود.

آزمایش‌های انجام‌شده در این پژوهش به نتایج شفاف و قابل توجهی منجر شد که در سه حوزه اصلی قابل دسته‌بندی است:

1. کارایی برتر تنظیم دقیق سبک: یکی از یافته‌های شگفت‌آور این بود که تنظیم دقیق کامل، که اغلب به عنوان یک روش قدرتمند در نظر گرفته می‌شود، در وظایف بازیابی شات-صفر (یعنی ارزیابی مدل بر روی داده‌هایی که قبلاً ندیده است) عملکرد ضعیفی داشت. در مقابل، تنظیم دقیق سبک با استفاده از شبکه‌های تطبیق‌دهنده توانست عملکرد را نزدیک به ۲۰٪ نسبت به مدل پایه بهبود بخشد. این یافته نشان می‌دهد که برای برخی وظایف، آموزش متمرکز و کارآمد ماژول‌های کوچک می‌تواند از آموزش مجدد کل یک مدل عظیم مؤثرتر باشد.
2. اثبات قطعی وجود سوگیری جنسیتی: این تحقیق به طور تجربی و قطعی ثابت کرد که مدل‌های زبانی از پیش آموزش‌دیده، سوگیری‌های جنسیتی موجود در داده‌های اینترنتی را به ارث برده‌اند. هنگامی که از این مدل‌ها برای بازیابی اطلاعات استفاده شد، نتایج به طور مداوم به سمت اسناد با نشانه‌های مردانه گرایش داشتند. این بدان معناست که اگر دو مقاله با محتوای یکسان وجود داشته باشد که یکی از ضمایر مردانه و دیگری از ضمایر زنانه استفاده کند، مدل به احتمال زیاد نسخه مردانه را به عنوان نتیجه مرتبط‌تر رتبه‌بندی می‌کند.
3. موفقیت چشمگیر تکنیک رفع سوگیری: روش مبتنی بر جریمه که توسط نویسندگان پیشنهاد شد، بسیار مؤثر عمل کرد. مدل آموزش‌دیده با این تکنیک توانست اسناد را به شیوه‌ای متعادل از نظر جنسیتی بازیابی کند. این مدل یاد گرفت که تفاوت بین نسخه‌های مردانه و زنانه یک سند را نادیده بگیرد و امتیاز ارتباطی تقریباً یکسانی به هر دو بدهد. نکته مهم این است که این تعادل بدون کاهش قابل توجه در دقت کلی مدل در بازیابی اطلاعات به دست آمد.

نتایج این مقاله صرفاً جنبه نظری ندارند و دستاوردهای عملی و کاربردهای گسترده‌ای را در دنیای واقعی به همراه دارند:

• ایجاد موتورهای جستجوی عادلانه‌تر: این تکنیک می‌تواند مستقیماً در موتورهای جستجوی تجاری (مانند گوگل و بینگ) و پایگاه‌های داده علمی (مانند Google Scholar) به کار گرفته شود تا اطمینان حاصل شود که نتایج جستجو برای مشاغل، دستاوردهای علمی و موضوعات دیگر، به طور عادلانه و بدون سوگیری جنسیتی نمایش داده می‌شوند.
• بهبود سیستم‌های توصیه‌گر: پلتفرم‌های کاریابی و شبکه‌های اجتماعی حرفه‌ای مانند لینکدین می‌توانند از این روش برای رفع سوگیری در الگوریتم‌های خود بهره‌مند شوند. این کار از پیشنهاد نامتناسب نامزدهای مرد برای موقعیت‌های فنی یا مدیریتی جلوگیری کرده و فرصت‌های برابر برای همه فراهم می‌کند.
• پیشبرد حوزه هوش مصنوعی مسئولانه (Responsible AI): این پژوهش یک نمونه عالی از چگونگی شناسایی، اندازه‌گیری و کاهش سوگیری در مدل‌های هوش مصنوعی است. این مقاله یک چارچوب عملی و قابل تکرار ارائه می‌دهد که می‌تواند توسط دیگر محققان و مهندسان برای مقابله با انواع دیگر سوگیری‌ها (مانند نژادی یا فرهنگی) نیز مورد استفاده قرار گیرد.
• نوآوری روش‌شناختی: معرفی یک مکانیزم جریمه‌محور برای رفع سوگیری و نشان دادن کارایی شبکه‌های تطبیق‌دهنده در این زمینه، خود یک دستاورد فنی مهم است که به پیشرفت دانش در حوزه یادگیری ماشین و پردازش زبان طبیعی کمک می‌کند.

مقاله «رفع سوگیری جنسیتی در مدل‌های بازیابی اطلاعات» یک تحقیق مهم و به‌موقع است که به یکی از چالش‌های اساسی عصر هوش مصنوعی می‌پردازد. این پژوهش نه تنها با ارائه شواهد محکم، وجود سوگیری جنسیتی در مدل‌های پیشرفته بازیابی اطلاعات را تأیید می‌کند، بلکه یک راه‌حل عملی، کارآمد و مؤثر برای مقابله با آن ارائه می‌دهد.

با استفاده از یک رویکرد دوگانه شامل تنظیم دقیق سبک و یک تکنیک رفع سوگیری مبتنی بر جریمه، نویسندگان موفق به ساخت مدلی شده‌اند که اطلاعات را به شیوه‌ای متعادل و منصفانه بازیابی می‌کند. این کار نشان می‌دهد که مبارزه با سوگیری در هوش مصنوعی نه تنها ممکن، بلکه ضروری است. این تحقیق راه را برای توسعه نسل جدیدی از سیستم‌های اطلاعاتی هموار می‌کند که نه تنها هوشمندتر، بلکه عادلانه‌تر نیز هستند و به جای بازتولید نابرابری‌های اجتماعی، در جهت رفع آن‌ها گام برمی‌دارند. این پژوهش یک یادآوری مهم است که مسئولیت ساختن فناوری‌های اخلاقی بر عهده ماست و با نوآوری و تعهد می‌توان به این هدف دست یافت.