پردازش زبان طبیعی (NLP) به طور فزاینده‌ای در زندگی روزمره ما نفوذ کرده است، از دستیارهای مجازی گرفته تا سیستم‌های ترجمه ماشینی. با این حال، مشخص شده است که این سیستم‌ها می‌توانند سوگیری‌های جنسیتی، نژادی و اجتماعی را منعکس و حتی تقویت کنند. این سوگیری‌ها می‌توانند پیامدهای جدی برای عدالت و انصاف داشته باشند. مقاله “تأثیر امبدینگ‌های واژه سوگیری‌زدایی‌شده جنسیتی در مدل‌سازی زبان” به بررسی این موضوع مهم می‌پردازد و راهکارهایی را برای کاهش این سوگیری‌ها ارائه می‌دهد.

این مقاله توسط کریستین باستا و مارتا آر. کوستا-جوسا نوشته شده است. تمرکز اصلی این محققان، بررسی سوگیری‌های موجود در مدل‌های زبان و ارائه راهکارهایی برای رفع این سوگیری‌ها است. تحقیقات آنها در زمینه پردازش زبان طبیعی، یادگیری ماشین و اخلاق در هوش مصنوعی قرار می‌گیرد. این مقاله در دسته‌بندی “محاسبات و زبان” قرار می‌گیرد که نشان‌دهنده تمرکز آن بر جنبه‌های فنی و زبانی موضوع است.

چکیده مقاله به این نکته اشاره دارد که سوگیری‌های جنسیتی، نژادی و اجتماعی به عنوان نمونه‌های آشکاری از بی‌عدالتی در کاربردهای پردازش زبان طبیعی شناسایی شده‌اند. یک مسیر کلیدی به سوی عدالت، درک، تحلیل و تفسیر داده‌ها و الگوریتم‌های ما است. مطالعات اخیر نشان داده‌اند که داده‌های تولیدشده توسط انسان که در آموزش استفاده می‌شوند، عامل آشکاری در ایجاد سوگیری‌ها هستند. علاوه بر این، الگوریتم‌های فعلی نیز نشان داده‌اند که سوگیری‌ها را از داده‌ها تقویت می‌کنند. برای پرداختن بیشتر به این نگرانی‌ها، در این مقاله، بررسی می‌شود که چگونه یک مدل زبان عصبی بازگشتی پیشرفته، هنگام آموزش بر روی داده‌هایی که زنان را به طور ناقص نشان می‌دهند، با استفاده از امبدینگ‌های واژه از پیش آموزش‌دیده استاندارد و سوگیری‌زدایی‌شده، رفتار می‌کند. نتایج نشان می‌دهد که مدل‌های زبان هنگام آموزش بر روی داده‌های نامتعادل با استفاده از امبدینگ‌های از پیش آموزش‌دیده، سوگیری بالاتری را در مقایسه با استفاده از امبدینگ‌های آموزش‌دیده در داخل وظیفه، به ارث می‌برند. علاوه بر این، نتایج نشان می‌دهد که، بر روی همان داده‌ها، مدل‌های زبان هنگام استفاده از امبدینگ‌های از پیش آموزش‌دیده سوگیری‌زدایی‌شده، در مقایسه با استفاده از امبدینگ‌های از پیش آموزش‌دیده استاندارد، سوگیری کمتری را به ارث می‌برند.

به عبارت ساده‌تر، این مقاله به دنبال پاسخ به این سوال است که آیا استفاده از امبدینگ‌های واژه که برای حذف سوگیری‌های جنسیتی طراحی شده‌اند، می‌تواند به بهبود عملکرد مدل‌های زبانی در تشخیص و رفع سوگیری‌ها کمک کند؟ و آیا این روش می‌تواند تاثیر داده‌های نامتعادل را کاهش دهد؟

روش‌شناسی این تحقیق شامل چندین مرحله کلیدی است:

• جمع‌آوری و آماده‌سازی داده‌ها: ابتدا یک مجموعه داده متنی انتخاب می‌شود که شامل متن‌هایی با نمایندگی نامتوازن از جنسیت‌ها است. این بدان معناست که تعداد جملات یا پاراگراف‌هایی که به مردان اشاره دارند، بیشتر از زن‌ها است (یا بالعکس). این عدم تعادل، بستری را برای بررسی تاثیر سوگیری ایجاد می‌کند.
• آموزش امبدینگ‌های واژه: در این مرحله، دو نوع امبدینگ واژه آموزش داده می‌شود:
  • امبدینگ‌های استاندارد: این امبدینگ‌ها با استفاده از روش‌های معمول مانند Word2Vec یا GloVe آموزش داده می‌شوند و هیچ تلاشی برای حذف سوگیری‌های جنسیتی در آنها صورت نمی‌گیرد.
  • امبدینگ‌های سوگیری‌زدایی‌شده: این امبدینگ‌ها با استفاده از تکنیک‌های خاصی آموزش داده می‌شوند که هدف آنها کاهش یا حذف سوگیری‌های جنسیتی از بازنمایی واژه‌ها است. روش‌های مختلفی برای این کار وجود دارد، از جمله شناسایی ابعاد “جنسیتی” در فضای امبدینگ و حذف آنها.
• آموزش مدل زبان: یک مدل زبان عصبی بازگشتی (RNN) با استفاده از مجموعه داده‌ی از پیش آماده‌شده آموزش داده می‌شود. این مدل، احتمال ظاهر شدن یک واژه را با توجه به واژه‌های قبلی پیش‌بینی می‌کند. در این مرحله، مدل با استفاده از هر دو نوع امبدینگ (استاندارد و سوگیری‌زدایی‌شده) آموزش داده می‌شود.
• ارزیابی سوگیری: پس از آموزش مدل، سوگیری‌های موجود در آن با استفاده از معیارهای خاصی اندازه‌گیری می‌شود. به عنوان مثال، می‌توان بررسی کرد که آیا مدل احتمال بیشتری به اختصاص نقش‌های شغلی خاص به یک جنسیت نسبت به جنسیت دیگر می‌دهد.
• مقایسه نتایج: در نهایت، نتایج حاصل از استفاده از امبدینگ‌های استاندارد و سوگیری‌زدایی‌شده با یکدیگر مقایسه می‌شوند تا مشخص شود که آیا سوگیری‌زدایی از امبدینگ‌ها، به کاهش سوگیری در مدل زبان منجر شده است یا خیر.

به عنوان مثال، برای ارزیابی سوگیری، می‌توان از مدل خواست تا جمله ناقص “پرستار یک … است” را کامل کند. اگر مدل به طور مداوم کلمه “زن” را به عنوان محتمل‌ترین پاسخ انتخاب کند، نشان‌دهنده وجود سوگیری جنسیتی در مدل است.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل‌های زبانی سوگیری را از داده‌ها به ارث می‌برند: هنگامی که یک مدل زبان بر روی داده‌های نامتعادل (مثلاً داده‌هایی که زنان را به طور ناقص نشان می‌دهند) آموزش داده می‌شود، سوگیری‌های جنسیتی موجود در داده‌ها را به ارث می‌برد و آنها را تقویت می‌کند.
• امبدینگ‌های از پیش آموزش‌دیده سوگیری را منتقل می‌کنند: استفاده از امبدینگ‌های واژه از پیش آموزش‌دیده (حتی اگر در ظاهر “استاندارد” باشند) می‌تواند سوگیری‌ها را به مدل زبان منتقل کند. این به این دلیل است که این امبدینگ‌ها اغلب بر روی مجموعه‌های داده‌ای بزرگ آموزش داده شده‌اند که خود ممکن است حاوی سوگیری‌های پنهان باشند.
• امبدینگ‌های سوگیری‌زدایی‌شده کمک می‌کنند: استفاده از امبدینگ‌های واژه که به طور خاص برای حذف سوگیری‌های جنسیتی طراحی شده‌اند، می‌تواند به کاهش سوگیری در مدل زبان کمک کند. با این حال، این راه حل جادویی نیست و همچنان نیاز به توجه به کیفیت داده‌ها و معماری مدل وجود دارد.
• آموزش امبدینگ‌ها در داخل وظیفه، نتیجه بهتری دارد: در مقایسه با استفاده از امبدینگ‌های از پیش آموزش‌دیده، آموزش امبدینگ‌ها به طور همزمان با آموزش مدل زبان (در داخل وظیفه)، می‌تواند منجر به نتایج بهتری در کاهش سوگیری شود. این به این دلیل است که امبدینگ‌ها به طور خاص برای مجموعه داده و وظیفه‌ای که مدل برای آن آموزش داده می‌شود، بهینه‌سازی می‌شوند.

به عنوان مثال، اگر یک مدل زبان با استفاده از امبدینگ‌های استاندارد و بر روی داده‌های نامتعادل آموزش داده شود، ممکن است به طور مداوم مشاغلی مانند “مهندس” را به مردان و مشاغلی مانند “معلم” را به زنان نسبت دهد. اما اگر از امبدینگ‌های سوگیری‌زدایی‌شده استفاده شود، این تمایل کاهش می‌یابد.

این تحقیق دارای کاربردهای مهمی در زمینه‌های مختلف است، از جمله:

• توسعه سیستم‌های NLP منصفانه‌تر: نتایج این تحقیق می‌تواند به توسعه سیستم‌های پردازش زبان طبیعی کمک کند که کمتر مستعد سوگیری‌های جنسیتی، نژادی و اجتماعی باشند.
• بهبود کیفیت داده‌ها: این تحقیق بر اهمیت جمع‌آوری و آماده‌سازی داده‌های متعادل و بدون سوگیری تأکید می‌کند.
• توسعه الگوریتم‌های سوگیری‌زدایی: این تحقیق می‌تواند الهام‌بخش توسعه الگوریتم‌های جدیدی برای سوگیری‌زدایی از امبدینگ‌های واژه و مدل‌های زبانی باشد.

به طور کلی، این تحقیق گامی مهم در جهت ایجاد سیستم‌های هوش مصنوعی اخلاقی‌تر و منصفانه‌تر است.

مقاله “تأثیر امبدینگ‌های واژه سوگیری‌زدایی‌شده جنسیتی در مدل‌سازی زبان” نشان می‌دهد که سوگیری‌های جنسیتی می‌توانند به راحتی به مدل‌های زبانی نفوذ کنند و استفاده از امبدینگ‌های واژه سوگیری‌زدایی‌شده می‌تواند یک راه حل موثر برای کاهش این سوگیری‌ها باشد. با این حال، این تنها بخشی از راه حل است و همچنان نیاز به تلاش برای جمع‌آوری داده‌های متعادل‌تر و توسعه الگوریتم‌های پیشرفته‌تر برای سوگیری‌زدایی وجود دارد. این مقاله یادآوری می‌کند که اخلاق و انصاف باید در تمام مراحل توسعه سیستم‌های هوش مصنوعی، از جمع‌آوری داده‌ها تا آموزش و استقرار مدل‌ها، مورد توجه قرار گیرد.