در عصر حاضر، مدل‌های زبانی زمینه‌محور (Contextualized Language Models) نقش حیاتی در بسیاری از کاربردهای پردازش زبان طبیعی (NLP) ایفا می‌کنند. از ترجمه ماشینی و تولید متن گرفته تا تحلیل احساسات و پاسخگویی به سوالات، این مدل‌ها با درک عمیق‌تر از زبان، عملکرد چشمگیری از خود نشان داده‌اند. با این حال، تحقیقات اخیر نشان می‌دهد که این مدل‌ها نیز خالی از اشکال نیستند و ممکن است در معرض سوگیری‌ها و مشکلات بیش‌برازش قرار گیرند. مقاله حاضر، با عنوان “نام‌های کم‌بسامد، سوگیری و بیش‌برازش را در مدل‌های زبانی زمینه‌محور نشان می‌دهند”، به بررسی این موضوع می‌پردازد و نشان می‌دهد که چگونه فراوانی اسامی در داده‌های آموزشی می‌تواند بر رفتار این مدل‌ها تاثیر بگذارد. این مقاله به طور خاص بر روی نام‌های کم‌بسامد، به ویژه نام‌های مرتبط با زنان و گروه‌های نژادی غیرسفیدپوست تمرکز دارد و نشان می‌دهد که این نام‌ها چگونه در معرض سوگیری و بیش‌برازش قرار می‌گیرند.

این مقاله توسط رابرت ولف (Robert Wolfe) و آیلین چالیسکان (Aylin Caliskan) به رشته تحریر درآمده است. زمینه تحقیقاتی این دو محقق، هوش مصنوعی، پردازش زبان طبیعی، و اخلاق در هوش مصنوعی است. دکتر چالیسکان به طور خاص بر روی سوگیری‌های موجود در الگوریتم‌های یادگیری ماشین و راه‌های کاهش این سوگیری‌ها متمرکز است. این مقاله در دسته‌بندی‌های علوم کامپیوتر و جامعه، هوش مصنوعی، محاسبات و زبان، و یادگیری ماشین قرار می‌گیرد. تمرکز بر سوگیری‌های موجود در مدل‌های زبانی، به ویژه سوگیری‌های مرتبط با جنسیت و نژاد، نشان‌دهنده اهمیت این مقاله در زمینه اخلاق در هوش مصنوعی است.

چکیده این مقاله به این صورت است: “ما از یک مجموعه داده از نام‌های اول ایالات متحده با برچسب‌هایی بر اساس جنسیت غالب و گروه نژادی برای بررسی تأثیر فراوانی پیکره آموزشی بر نشانه‌گذاری، زمینه‌سازی، شباهت به بازنمایی اولیه و سوگیری در BERT، GPT-2، T5 و XLNet استفاده می‌کنیم. ما نشان می‌دهیم که نام‌های غالب زنانه و غیرسفیدپوست در پیکره‌های آموزشی این چهار مدل زبانی کمتر رایج هستند. ما دریافتیم که نام‌های غیررایج در زمینه‌های مختلف خودمشابه تر هستند، با اسپیرمن r بین فراوانی و خودشباهی به اندازه پایین -.763. نام‌های غیررایج نیز کمتر شبیه به نمایش اولیه هستند، با اسپیرمن r بین فراوانی و هم ترازی هسته خطی مرکزی (CKA) شباهت به نمایش اولیه به اندازه بالا .702. علاوه بر این، ما اسپیرمن r بین سوگیری نژادی و فراوانی نام در BERT را .492 می‌یابیم، که نشان می‌دهد نام‌های گروه اقلیت با فراوانی کمتر بیشتر با ناخوشایندی مرتبط هستند. نمایش‌های نام‌های غیررایج پردازش بیشتری را انجام می‌دهند، اما خودمشابه تر هستند، که نشان می‌دهد مدل‌ها به نمایش‌های کمتر آگاه از زمینه از نام‌های غیرمعمول و اقلیت تکیه می‌کنند که بیش از حد برازش شده‌اند به تعداد کمتری از زمینه‌های مشاهده شده.”

به طور خلاصه، مقاله نشان می‌دهد که مدل‌های زبانی زمینه‌محور مانند BERT، GPT-2، T5، و XLNet در نمایش نام‌های کم‌بسامد دچار سوگیری و بیش‌برازش می‌شوند. این نام‌ها که اغلب متعلق به زنان و گروه‌های نژادی غیرسفیدپوست هستند، در داده‌های آموزشی این مدل‌ها کمتر دیده می‌شوند و در نتیجه، مدل‌ها نمی‌توانند درک دقیقی از آن‌ها داشته باشند.

محققان در این مقاله از یک مجموعه داده از نام‌های اول ایالات متحده استفاده کرده‌اند که با برچسب‌های جنسیت و گروه نژادی مرتبط شده‌اند. آن‌ها سپس این نام‌ها را در مدل‌های زبانی BERT، GPT-2، T5، و XLNet مورد بررسی قرار داده‌اند. روش‌شناسی تحقیق شامل مراحل زیر است:

• تعیین فراوانی نام‌ها: محققان ابتدا فراوانی هر نام را در داده‌های آموزشی مدل‌های زبانی مورد بررسی محاسبه کرده‌اند. این کار به آن‌ها کمک کرد تا نام‌های کم‌بسامد را شناسایی کنند. به عنوان مثال، نام “فاطمه” ممکن است در داده‌های آموزشی به نسبت نام “محمد” کمتر دیده شود.
• محاسبه خودشباهی (Self-Similarity): محققان خودشباهی نام‌ها را در زمینه‌های مختلف محاسبه کرده‌اند. خودشباهی نشان می‌دهد که یک نام تا چه اندازه در زمینه‌های مختلف، معنای مشابهی دارد. یک نام با خودشباهی بالا، به این معنی است که مدل در زمینه‌های مختلف، درک یکسانی از آن دارد. به عنوان مثال، اگر نام “مریم” همیشه با ویژگی‌های مهربانی و دلسوزی مرتبط باشد، خودشباهی بالایی خواهد داشت.
• محاسبه شباهت به نمایش اولیه: محققان شباهت نمایش هر نام را به نمایش اولیه‌ای که مدل در ابتدا از آن دارد، محاسبه کرده‌اند. این کار به آن‌ها کمک کرد تا بفهمند که مدل تا چه اندازه در طول آموزش، نمایش اولیه خود از نام‌ها را تغییر می‌دهد.
• بررسی سوگیری نژادی: محققان سوگیری نژادی را با استفاده از روش‌های مختلف سنجیده‌اند. آن‌ها بررسی کرده‌اند که آیا مدل‌ها، نام‌های مرتبط با گروه‌های نژادی خاص را با ویژگی‌های مثبت یا منفی مرتبط می‌کنند. به عنوان مثال، بررسی اینکه آیا نام‌های مرتبط با گروه نژادی آفریقایی-آمریکایی بیشتر با کلماتی مانند “جرم” یا “فقر” مرتبط می‌شوند.
• تحلیل آماری: محققان از روش‌های آماری مانند همبستگی اسپیرمن (Spearman’s r) برای بررسی رابطه بین فراوانی نام‌ها، خودشباهی، شباهت به نمایش اولیه، و سوگیری نژادی استفاده کرده‌اند.

یافته‌های کلیدی این تحقیق عبارتند از:

• فراوانی کمتر نام‌های زنانه و غیرسفیدپوست: نام‌های زنانه و نام‌های مرتبط با گروه‌های نژادی غیرسفیدپوست در داده‌های آموزشی مدل‌های زبانی، به طور قابل توجهی کمتر از نام‌های مردانه و سفیدپوست هستند. این مسئله می‌تواند منجر به این شود که مدل‌ها در درک و نمایش این نام‌ها با مشکل مواجه شوند.
• خودشباهی بیشتر نام‌های کم‌بسامد: نام‌های کم‌بسامد در زمینه‌های مختلف، خودشباهی بیشتری دارند. این بدان معناست که مدل‌ها به جای درک زمینه‌ای نام‌ها، بیشتر به یک نمایش ثابت و بدون تغییر از آن‌ها تکیه می‌کنند. به عبارت دیگر، مدل‌ها نمی‌توانند تفاوت‌های ظریف و معنایی نام‌ها را در زمینه‌های مختلف درک کنند.
• شباهت کمتر به نمایش اولیه: نام‌های کم‌بسامد، شباهت کمتری به نمایش اولیه‌ای که مدل در ابتدا از آن‌ها دارد، دارند. این نشان می‌دهد که مدل‌ها در طول آموزش، تغییرات بیشتری در نمایش این نام‌ها ایجاد می‌کنند، اما این تغییرات لزوماً به بهبود درک آن‌ها منجر نمی‌شود.
• همبستگی بین فراوانی نام و سوگیری نژادی: یک همبستگی مثبت بین فراوانی نام و سوگیری نژادی در مدل BERT یافت شده است. این بدان معناست که نام‌های کم‌بسامد مرتبط با گروه‌های اقلیت، بیشتر با ویژگی‌های منفی مرتبط می‌شوند. به عنوان مثال، مدل ممکن است نام‌های مرتبط با گروه نژادی خاصی را با کلماتی مانند “فقیر” یا “جنایتکار” مرتبط کند.
• بیش‌برازش نام‌های کم‌بسامد: یافته‌ها نشان می‌دهند که مدل‌ها در مورد نام‌های کم‌بسامد دچار بیش‌برازش می‌شوند. به این معنی که آن‌ها به جای یادگیری یک نمایش کلی و قابل تعمیم از نام‌ها، به حفظ اطلاعات خاص و محدود از آن‌ها می‌پردازند.

به عنوان یک مثال عملی، تصور کنید که یک مدل زبانی با تعداد محدودی از مثال‌ها برای نام “خدیجه” آموزش داده شده است. اگر بیشتر این مثال‌ها در زمینه‌های خاصی مانند “خدیجه، یک زن خانه‌دار” یا “خدیجه، یک مادر مهربان” باشند، مدل ممکن است نتواند “خدیجه” را در زمینه‌های دیگر مانند “خدیجه، یک دانشمند برجسته” یا “خدیجه، یک فعال حقوق بشر” به درستی درک کند.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• آگاهی‌بخشی درباره سوگیری‌های موجود در مدل‌های زبانی: این مقاله به آگاهی‌بخشی درباره سوگیری‌های موجود در مدل‌های زبانی کمک می‌کند و نشان می‌دهد که چگونه این سوگیری‌ها می‌توانند بر افراد و گروه‌های خاصی تاثیر منفی بگذارند.
• ارائه راهکارهایی برای کاهش سوگیری: این تحقیق می‌تواند به توسعه راهکارهایی برای کاهش سوگیری‌ها در مدل‌های زبانی کمک کند. به عنوان مثال، می‌توان با افزایش تنوع داده‌های آموزشی و استفاده از روش‌های منظم‌سازی (Regularization) از بیش‌برازش جلوگیری کرد.
• بهبود عملکرد مدل‌های زبانی برای نام‌های کم‌بسامد: این تحقیق می‌تواند به بهبود عملکرد مدل‌های زبانی برای نام‌های کم‌بسامد کمک کند. با درک بهتر از چگونگی رفتار مدل‌ها با این نام‌ها، می‌توان راهکارهایی برای بهبود درک و نمایش آن‌ها ارائه داد.
• ارتقاء اخلاق در هوش مصنوعی: این مقاله به ارتقاء اخلاق در هوش مصنوعی کمک می‌کند و نشان می‌دهد که چگونه باید در طراحی و توسعه مدل‌های زبانی، به مسائل مربوط به عدالت و برابری توجه کرد.

برای مثال، نتایج این مقاله می‌تواند برای توسعه ابزارهایی استفاده شود که سوگیری‌های موجود در مدل‌های زبانی را شناسایی و اصلاح می‌کنند. همچنین، می‌تواند برای آموزش توسعه‌دهندگان و محققان هوش مصنوعی در مورد اهمیت در نظر گرفتن مسائل اخلاقی در کار خود مورد استفاده قرار گیرد.

مقاله “نام‌های کم‌بسامد، سوگیری و بیش‌برازش را در مدل‌های زبانی زمینه‌محور نشان می‌دهند” یک تحقیق مهم و ارزشمند است که نشان می‌دهد چگونه فراوانی نام‌ها در داده‌های آموزشی می‌تواند بر رفتار مدل‌های زبانی تاثیر بگذارد. این مقاله با ارائه شواهد تجربی نشان می‌دهد که نام‌های کم‌بسامد، به ویژه نام‌های مرتبط با زنان و گروه‌های نژادی غیرسفیدپوست، در معرض سوگیری و بیش‌برازش قرار می‌گیرند. یافته‌های این تحقیق می‌تواند به توسعه راهکارهایی برای کاهش سوگیری‌ها در مدل‌های زبانی و بهبود عملکرد آن‌ها برای نام‌های کم‌بسامد کمک کند.

در نهایت، این مقاله یک یادآوری مهم است که باید در طراحی و توسعه مدل‌های هوش مصنوعی، به مسائل مربوط به عدالت و برابری توجه کرد و از ایجاد و تشدید سوگیری‌ها جلوگیری نمود. اهمیت دارد که به این نکته توجه داشته باشیم که مدل‌های زبانی، آینه‌ای از داده‌های آموزشی خود هستند و اگر این داده‌ها حاوی سوگیری باشند، مدل‌ها نیز این سوگیری‌ها را منعکس خواهند کرد. بنابراین، لازم است که در جمع‌آوری و پردازش داده‌های آموزشی، دقت و حساسیت بیشتری به خرج دهیم و تلاش کنیم تا داده‌هایی متنوع و عادلانه‌تر را در اختیار مدل‌ها قرار دهیم.