۱. معرفی مقاله و اهمیت آن

مدل‌های زبانی پوشیده (Masked Language Models – MLMs) که با پیش‌بینی کلمات پوشیده شده در متون بزرگ آموزش می‌بینند، در سال‌های اخیر به ابزاری قدرتمند در پردازش زبان طبیعی (NLP) تبدیل شده‌اند. این مدل‌ها توانایی شگرفی در درک و تولید زبان انسان از خود نشان داده‌اند و در طیف وسیعی از وظایف، از ترجمه ماشینی گرفته تا پاسخگویی به پرسش‌ها، موفقیت‌آمیز بوده‌اند. با این حال، همگام با پیشرفت‌های چشمگیر این مدل‌ها، نگرانی‌هایی جدی در مورد یادگیری و بازتولید سوگیری‌های مضر، از جمله سوگیری‌های جنسیتی و نژادی، توسط آن‌ها نیز مطرح شده است.

بیشتر تحقیقات در این زمینه عمدتاً بر روی مدل‌های انگلیسی‌زبان متمرکز بوده‌اند و در نتیجه، نحوه بروز و میزان سوگیری در مدل‌های زبانی دیگر کمتر مورد بررسی قرار گرفته است. این شکاف تحقیقاتی، چالش‌های قابل توجهی را به وجود می‌آورد، زیرا سوگیری‌های موجود در داده‌های زبانی می‌تواند پیامدهای نامطلوبی در دنیای واقعی داشته باشد و نابرابری‌ها را تشدید کند. اهمیت این مقاله در پرداختن به همین موضوع حیاتی نهفته است: ارزیابی و درک سوگیری جنسیتی در مدل‌های زبانی پوشیده که در زبان‌های مختلفی فعالیت می‌کنند. این تحقیق تلاش می‌کند تا با ارائه یک روش‌شناسی نوین، امکان ارزیابی سوگیری را در زبان‌هایی که ساخت داده‌های ارزیابی برای آن‌ها دشوار است، فراهم کند.

۲. نویسندگان و زمینه تحقیق

این مقاله توسط پژوهشگرانی برجسته در حوزه پردازش زبان طبیعی ارائه شده است: Masahiro Kaneko، Aizhan Imankulova، Danushka Bollegala و Naoaki Okazaki. این تیم تحقیقاتی با تخصص‌های مکمل خود، در یکی از مهم‌ترین مرزهای علم NLP، یعنی تلاقی مدل‌های زبانی پیشرفته و مسائل اجتماعی-اخلاقی مرتبط با آن‌ها، فعال هستند.

زمینه کلی تحقیق آن‌ها در حوزه “محاسبات و زبان” (Computation and Language) قرار می‌گیرد. این حوزه به مطالعه ارتباط بین جنبه‌های محاسباتی زبان و جنبه‌های زبانی محاسبات می‌پردازد. تمرکز این مقاله بر روی جنبه‌ی خاصی از این ارتباط است: چگونگی انعکاس یا حتی تقویت سوگیری‌های انسانی، به طور خاص سوگیری جنسیتی، در سیستم‌های مبتنی بر هوش مصنوعی که با زبان سروکار دارند. یافته‌های این پژوهش می‌تواند تأثیر قابل توجهی بر توسعه و استفاده مسئولانه از فناوری‌های هوش مصنوعی در سطح جهانی داشته باشد.

۳. چکیده و خلاصه محتوا

چکیده این مقاله به طور خلاصه چالش اصلی و راه‌حل پیشنهادی را بیان می‌کند:

“مدل‌های زبانی پوشیده (MLMs) که با پیش‌بینی توکن‌های پوشیده شده بر روی پیکره‌های زبانی بزرگ آموزش دیده‌اند، با موفقیت در وظایف پردازش زبان طبیعی برای زبان‌های مختلفی مورد استفاده قرار گرفته‌اند. متأسفانه، گزارش شده است که MLMs سوگیری‌های تبعیض‌آمیز نسبت به ویژگی‌هایی مانند جنسیت و نژاد را نیز یاد می‌گیرند. از آنجایی که بیشتر مطالعات بر روی MLMs در زبان انگلیسی متمرکز بوده‌اند، سوگیری MLMs در زبان‌های دیگر به ندرت مورد بررسی قرار گرفته است. حاشیه‌نویسی دستی داده‌های ارزیابی برای زبان‌های غیر از انگلیسی به دلیل هزینه و دشواری در جذب حاشیه‌نویسان چالش‌برانگیز بوده است. علاوه بر این، روش‌های ارزیابی سوگیری موجود به جفت جملات کلیشه‌ای متشکل از زمینه یکسان با کلمات ویژگی (مثلاً او پرستار است) نیاز دارند. ما امتیاز ارزیابی سوگیری چندزبانه (MBE) را برای ارزیابی سوگیری در زبان‌های مختلف با استفاده تنها از لیست کلمات ویژگی انگلیسی و پیکره‌های موازی بین زبان هدف و انگلیسی، بدون نیاز به داده‌های حاشیه‌نویسی دستی، پیشنهاد می‌کنیم. ما MLMs را در هشت زبان با استفاده از MBE ارزیابی کردیم و تأیید کردیم که سوگیری‌های مرتبط با جنسیت در MLMs برای همه این زبان‌ها کدگذاری شده‌اند. ما به صورت دستی مجموعه‌داده‌هایی برای سوگیری جنسیتی در ژاپنی و روسی ایجاد کردیم تا اعتبار MBE را ارزیابی کنیم. نتایج نشان می‌دهند که امتیازات سوگیری گزارش شده توسط MBE به طور قابل توجهی با امتیازات محاسبه شده از مجموعه‌داده‌های ایجاد شده به صورت دستی و مجموعه‌داده‌های موجود انگلیسی برای سوگیری جنسیتی همبستگی دارند.”

به طور خلاصه، این مقاله به این موضوع می‌پردازد که چگونه مدل‌های زبانی قدرتمند، حتی در زبان‌های مختلف، می‌توانند سوگیری‌های جنسیتی را یاد بگیرند. مشکل اصلی این است که ارزیابی این سوگیری در زبان‌هایی غیر از انگلیسی بسیار دشوار است، زیرا نیاز به داده‌های تخصصی و گران‌قیمت دارد. محققان روشی جدید به نام امتیاز ارزیابی سوگیری چندزبانه (MBE) را معرفی می‌کنند که با استفاده از واژگان انگلیسی و متون موازی، امکان ارزیابی سوگیری جنسیتی را در زبان‌های مختلف فراهم می‌کند، بدون نیاز به جمع‌آوری داده‌های تخصصی و گران‌قیمت. آن‌ها با آزمایش این روش بر روی هشت زبان، تأیید کردند که سوگیری جنسیتی در تمام این مدل‌ها وجود دارد و روش پیشنهادی آن‌ها با ارزیابی‌های دستی دقیق، همبستگی بالایی دارد.

۴. روش‌شناسی تحقیق

قلب این تحقیق، معرفی و اعتبارسنجی یک روش جدید برای ارزیابی سوگیری جنسیتی در مدل‌های زبانی چندزبانه است. روش‌شناسی پیشنهادی، که به نام امتیاز ارزیابی سوگیری چندزبانه (Multilingual Bias Evaluation – MBE) شناخته می‌شود، برای غلبه بر محدودیت‌های روش‌های پیشین طراحی شده است.

چالش روش‌های سنتی: روش‌های ارزیابی سوگیری رایج، به‌ویژه برای زبان انگلیسی، معمولاً بر اساس جفت جملات کلیشه‌ای استوارند. به عنوان مثال، در زبان انگلیسی، ممکن است از جملاتی مانند “He is a doctor.” (او دکتر است) و “She is a nurse.” (او پرستار است) استفاده شود. این روش نیاز به ساخت دقیق و اغلب دستی این جفت جملات برای هر زبان دارد که فرآیندی پرهزینه، زمان‌بر و نیازمند متخصصان زبان‌شناس است، به خصوص برای زبان‌هایی که منابع زبانی کمتری دارند.

نوآوری روش MBE: روش MBE این محدودیت‌ها را با استفاده از رویکردی خلاقانه دور می‌زند:

• استفاده از لیست کلمات ویژگی انگلیسی: به جای نیاز به ساخت جفت جملات کلیشه‌ای در زبان مقصد، MBE از لیست کلمات ویژگی (Attribute Words) که قبلاً برای زبان انگلیسی تعریف شده‌اند، استفاده می‌کند. این کلمات معمولاً به نقش‌های شغلی، صفات شخصیتی یا دسته‌های اجتماعی اشاره دارند که ممکن است با جنسیت همراه باشند.
• پیکره‌های موازی: این روش به پیکره‌های متنی موازی (Parallel Corpora) بین زبان هدف (مثلاً فارسی، ژاپنی، روسی) و زبان انگلیسی نیاز دارد. پیکره‌های موازی شامل متن‌هایی هستند که جملات یا پاراگراف‌های معادل آن‌ها در دو زبان مختلف ارائه شده است.
• مکانیزم ارزیابی: MBE با قرار دادن کلمات مرتبط با جنسیت (مذکر/مونث) در موقعیت‌های متنی مختلف (که از طریق ترجمه متون انگلیسی به دست می‌آیند) و بررسی احتمال پیش‌بینی کلمات دیگر توسط مدل، سوگیری را اندازه‌گیری می‌کند. به عبارت دیگر، اگر مدل در زمینه‌هایی که به طور کلی با یک جنسیت خاص کلیشه‌سازی شده‌اند، احتمال بیشتری به کلماتی (مثلاً شغل خاص) بدهد که در فرهنگ انگلیسی به جنسیت دیگری نسبت داده می‌شوند، نشان‌دهنده سوگیری است.
• محاسبه امتیاز: امتیاز MBE به طور کمی نشان‌دهنده میزان سوگیری جنسیتی در مدل زبانی برای آن زبان خاص است. این امتیاز به محققان اجازه می‌دهد تا مدل‌های مختلف را مقایسه کرده و میزان سوگیری در زبان‌های گوناگون را بسنجند.

اعتبارسنجی: برای اطمینان از اعتبار روش MBE، محققان دو مجموعه داده دستی برای سوگیری جنسیتی در دو زبان ژاپنی و روسی ایجاد کردند. سپس، نتایج حاصل از MBE را با نتایجی که از این مجموعه داده‌های دستی و همچنین مجموعه داده‌های استاندارد انگلیسی به دست آمده بود، مقایسه کردند. همبستگی بالای این نتایج، نشان‌دهنده صحت و کارایی روش پیشنهادی MBE بود.

۵. یافته‌های کلیدی

این تحقیق به یافته‌های مهم و نگران‌کننده‌ای دست یافته است که درک ما را از مدل‌های زبانی مدرن و پیامدهای آن‌ها عمیق‌تر می‌کند:

• وجود سوگیری جنسیتی در تمامی زبان‌های مورد بررسی: یکی از مهم‌ترین یافته‌ها این است که مدل‌های زبانی پوشیده (MLMs) در تمام هشت زبانی که مورد ارزیابی قرار گرفتند، دارای سوگیری‌های جنسیتی هستند. این بدان معناست که این سوگیری‌ها منحصر به زبان انگلیسی یا زبان‌های با ساختار خاص نیستند، بلکه پدیده‌ای فراگیر در مدل‌های زبانی یاد گرفته شده از داده‌های واقعی هستند.
• کارایی روش MBE: روش پیشنهادی MBE، علیرغم عدم نیاز به داده‌های حاشیه‌نویسی شده تخصصی برای هر زبان، توانسته است به نتایج قابل اعتمادی دست یابد. همبستگی بالای امتیازات MBE با نتایج به دست آمده از مجموعه داده‌های دستی که به صورت تخصصی برای زبان‌های ژاپنی و روسی ساخته شده بودند، نشان‌دهنده قابلیت اطمینان و کاربردی بودن این روش در ارزیابی سوگیری در زبان‌های مختلف است.
• قابلیت تعمیم پذیری سوگیری: یافته‌ها نشان می‌دهند که سوگیری‌های جنسیتی می‌توانند از یک زبان به زبان دیگر منتقل شوند یا الگوهای مشابهی را در زبان‌های مختلف از خود بروز دهند، که این امر اهمیت در نظر گرفتن ماهیت چندزبانه این مدل‌ها را دوچندان می‌کند.
• محدودیت‌های روش‌های موجود: تحقیق بر مشکلاتی که روش‌های سنتی ارزیابی سوگیری در زبان‌های غیر انگلیسی با آن روبرو هستند، تأکید می‌کند و نیاز به توسعه ابزارهای کارآمدتر را برجسته می‌سازد.

به عنوان مثال، اگر مدلی در زبان فارسی، در جملاتی که به طور ضمنی به مشاغل سنتی “مردانه” (مانند مهندسی یا مدیریت) اشاره دارد، احتمال بیشتری به کلماتی شبیه به “او” (در حالی که در انگلیسی He) بدهد، و در جملاتی با مشاغل سنتی “زنانه” (مانند پرستاری یا معلمی)، احتمال بیشتری به کلماتی شبیه به “او” (در حالی که در انگلیسی She) بدهد، این نشان‌دهنده سوگیری جنسیتی است که توسط روش MBE قابل شناسایی است.

۶. کاربردها و دستاوردها

این پژوهش نه تنها از نظر علمی ارزشمند است، بلکه پیامدهای عملی و دستاوردهای مهمی برای توسعه‌دهندگان، پژوهشگران و کاربران فناوری‌های هوش مصنوعی دارد:

• ابزاری برای توسعه مدل‌های عادلانه‌تر: مهم‌ترین دستاورد این تحقیق، ارائه روشی کارآمد (MBE) برای شناسایی و اندازه‌گیری سوگیری جنسیتی در مدل‌های زبانی چندزبانه است. این ابزار به توسعه‌دهندگان کمک می‌کند تا نقاط ضعف مدل‌های خود را در زبان‌های مختلف شناسایی کرده و برای رفع آن‌ها اقدام کنند. این امر گامی مهم در جهت ساخت مدل‌های هوش مصنوعی عادلانه‌تر و مسئولانه‌تر است.
• افزایش آگاهی نسبت به سوگیری در زبان‌های کمتر پوشش داده شده: با امکان ارزیابی سوگیری در زبان‌هایی که منابع کمتری دارند، این تحقیق به آگاهی جهانی درباره چالش‌های بالقوه سوگیری در مدل‌های زبانی کمک می‌کند. این امر می‌تواند منجر به سرمایه‌گذاری بیشتر در جهت کاهش سوگیری در مدل‌های زبانی که برای جمعیت‌های زبانی متنوع‌تری طراحی می‌شوند، گردد.
• مبنایی برای تحقیقات آتی: روش MBE می‌تواند به عنوان یک چارچوب استاندارد برای ارزیابی سوگیری در آینده مورد استفاده قرار گیرد. این امر امکان مقایسه عادلانه مدل‌ها و پیشرفت‌های صورت گرفته در طول زمان را فراهم می‌آورد.
• کاربرد در ارزیابی برنامه‌های کاربردی: در نهایت، این یافته‌ها می‌تواند در ارزیابی برنامه‌های کاربردی مبتنی بر هوش مصنوعی که از مدل‌های زبانی در زبان‌های مختلف استفاده می‌کنند (مانند چت‌بات‌ها، سیستم‌های توصیه‌گر، یا ابزارهای ترجمه) به کار آید تا اطمینان حاصل شود که این برنامه‌ها سوگیری‌های مضر را بازتولید نمی‌کنند.

به عنوان مثال، یک شرکت فناوری که قصد دارد یک دستیار صوتی هوشمند را برای بازارهای مختلف در سراسر جهان عرضه کند، می‌تواند از روش MBE برای اطمینان از عدم وجود سوگیری جنسیتی در پاسخ‌های دستیار به زبان‌های مختلف استفاده کند. اگر دستیار در زبان اسپانیایی به زنان در نقش‌های مدیریتی احتمال کمتری برای موفقیت نسبت به مردان بدهد، این سوگیری از طریق MBE قابل کشف و اصلاح خواهد بود.

۷. نتیجه‌گیری

این مقاله با موفقیت یک شکاف مهم در تحقیقات مربوط به سوگیری در مدل‌های زبانی را پر کرده است. محققان توانسته‌اند نشان دهند که سوگیری جنسیتی، پدیده‌ای است که به طور گسترده در مدل‌های زبانی پوشیده در زبان‌های مختلف وجود دارد و نباید نادیده گرفته شود. چالش اصلی در ارزیابی این سوگیری در زبان‌هایی غیر از انگلیسی، با معرفی روش امتیاز ارزیابی سوگیری چندزبانه (MBE)، به شکل مؤثری حل شده است.

این روش نوین، با اتکا به پیکره‌های موازی و لیست کلمات ویژگی انگلیسی، راه را برای ارزیابی سیستماتیک و مقایسه‌ای سوگیری جنسیتی در ده‌ها یا صدها زبان هموار می‌سازد. یافته‌های مبنی بر وجود سوگیری در تمام زبان‌های مورد بررسی، هشداری جدی است برای جامعه هوش مصنوعی که باید در توسعه و استقرار مدل‌های زبانی، رویکردی آگاهانه‌تر و مسئولانه‌تر در پیش گیرد.

دستاورد این تحقیق، تنها در حد شناسایی مشکل نیست، بلکه ابزاری عملی برای مقابله با آن ارائه می‌دهد. با استفاده از MBE، توسعه‌دهندگان می‌توانند مدل‌های زبانی عادلانه‌تر و کم‌سوگیری‌تری را طراحی کنند که به نابرابری‌های اجتماعی دامن نزند. این پژوهش، گامی مهم در جهت تضمین این است که پیشرفت‌های هوش مصنوعی به نفع همه جوامع بشری و با رعایت اصول اخلاقی و انسانی باشد.