در دنیای امروز، مدل‌های زبانی پیش‌آموخته (Pretrained Language Models) مانند BERT به ابزاری قدرتمند در پردازش زبان طبیعی (NLP) تبدیل شده‌اند. این مدل‌ها در زمینه‌های مختلفی از جمله ترجمه ماشینی، خلاصه‌سازی متن و پاسخ به سوالات کاربرد دارند. با این حال، نگرانی‌های فزاینده‌ای در مورد وجود الگوهای سوگیرانه (Biased Patterns) در این مدل‌ها مطرح شده است. این سوگیری‌ها می‌توانند منجر به تبعیض و نابرابری در نتایج و کاربردهای مختلف شوند. به همین دلیل، سنجش و اندازه‌گیری میزان این سوگیری‌ها از اهمیت بالایی برخوردار است. مقاله حاضر به بررسی چالش‌های موجود در زمینه کمی‌سازی سوگیری در مدل‌های زبانی پیش‌آموخته می‌پردازد و اثربخشی معیارهای مختلف سنجش انصاف را مورد ارزیابی قرار می‌دهد.

این مقاله توسط پیتر دلوبل، ایووئنام کواکو توکپو، تون کالدرز و بتینا برنت نوشته شده است. نویسندگان، متخصصان حوزه پردازش زبان طبیعی، یادگیری ماشین و اخلاق هوش مصنوعی هستند. زمینه تحقیقاتی آن‌ها بر روی شناسایی و کاهش سوگیری در سیستم‌های هوش مصنوعی و اطمینان از انصاف و عدالت در کاربردهای مختلف این سیستم‌ها متمرکز است. تخصص آن‌ها در این زمینه‌ها، پشتوانه قوی‌ای برای بررسی دقیق و جامع موضوع سوگیری در مدل‌های زبانی پیش‌آموخته فراهم کرده است.

چکیده این مقاله به این صورت است: «آگاهی روزافزون از الگوهای سوگیرانه در منابع پردازش زبان طبیعی، مانند BERT، باعث ایجاد معیارهای متعددی برای کمی‌سازی ‘سوگیری’ و ‘انصاف’ شده است. اما مقایسه نتایج معیارهای مختلف و کارهایی که با این معیارها ارزیابی می‌شوند، دشوار است، اگر نگوییم کاملاً غیرممکن. ما ادبیات موجود در مورد معیارهای انصاف برای مدل‌های زبانی پیش‌آموخته را بررسی می‌کنیم و سازگاری، از جمله سوگیری‌ها در مدل‌های زبانی و همچنین در وظایف پایین‌دستی آن‌ها را به صورت تجربی ارزیابی می‌کنیم. این کار را با ترکیبی از بررسی ادبیات سنتی و تحلیل همبستگی، و همچنین با اجرای ارزیابی‌های تجربی انجام می‌دهیم. متوجه می‌شویم که بسیاری از معیارها سازگار نیستند و به شدت به (i) قالب‌ها، (ii) ویژگی‌ها و بذر هدف و (iii) انتخاب جاسازی‌ها بستگی دارند. این نتایج نشان می‌دهد که ارزیابی انصاف یا سوگیری برای مدل‌های زبانی زمینه‌ای همچنان چالش‌برانگیز است، اگر حداقل بسیار ذهنی نباشد. برای بهبود مقایسه‌های آینده و ارزیابی‌های انصاف، توصیه می‌کنیم از معیارهای مبتنی بر جاسازی اجتناب شود و بر ارزیابی‌های انصاف در وظایف پایین‌دستی تمرکز شود.»

به طور خلاصه، این مقاله به بررسی این موضوع می‌پردازد که چگونه می‌توان سوگیری‌های موجود در مدل‌های زبانی پیش‌آموخته را به درستی اندازه گیری کرد. نویسندگان نشان می‌دهند که بسیاری از معیارهای موجود برای سنجش انصاف، نتایج متناقضی ارائه می‌دهند و به عوامل مختلفی مانند قالب‌های مورد استفاده، نوع داده‌های ورودی و روش‌های جاسازی کلمات (Word Embeddings) وابسته هستند. در نهایت، آن‌ها توصیه می‌کنند که به جای تکیه بر معیارهای مبتنی بر جاسازی کلمات، تمرکز بر ارزیابی انصاف در کاربردهای عملی و وظایف پایین‌دستی (Downstream Tasks) باشد.

نویسندگان در این مقاله از ترکیبی از روش‌های تحقیق استفاده کرده‌اند:

• بررسی ادبیات (Literature Survey): بررسی جامع مقالات و تحقیقات موجود در زمینه معیارهای سنجش انصاف در مدل‌های زبانی پیش‌آموخته. این بررسی به شناسایی نقاط قوت و ضعف هر معیار و همچنین زمینه‌هایی که نیاز به تحقیق بیشتر دارند کمک می‌کند.
• تحلیل همبستگی (Correlation Analysis): محاسبه میزان همبستگی بین نتایج حاصل از معیارهای مختلف سنجش انصاف. این تحلیل به تعیین این موضوع کمک می‌کند که آیا معیارهای مختلف، نتایج مشابهی ارائه می‌دهند یا خیر.
• ارزیابی تجربی (Empirical Evaluation): اجرای آزمایش‌های عملی برای ارزیابی عملکرد معیارهای مختلف در وظایف پایین‌دستی. به عنوان مثال، می‌توان از یک مدل زبانی پیش‌آموخته برای طبقه‌بندی متن استفاده کرد و سپس میزان سوگیری در نتایج طبقه‌بندی را با استفاده از معیارهای مختلف سنجش انصاف اندازه‌گیری کرد.

استفاده از این روش‌های ترکیبی، دیدگاه جامعی از چالش‌های موجود در زمینه سنجش انصاف ارائه می‌دهد و به نویسندگان اجازه می‌دهد تا توصیه‌هایی عملی برای بهبود ارزیابی‌های آینده ارائه دهند.

یافته‌های کلیدی این تحقیق عبارتند از:

• عدم سازگاری معیارها: بسیاری از معیارهای سنجش انصاف، نتایج متفاوتی ارائه می‌دهند و با یکدیگر سازگار نیستند. به عبارت دیگر، ممکن است یک معیار نشان دهد که یک مدل زبانی سوگیری دارد، در حالی که معیار دیگری نشان دهد که مدل منصفانه است.
• وابستگی به قالب‌ها (Templates): نتایج حاصل از معیارهای سنجش انصاف به شدت به قالب‌های زبانی مورد استفاده وابسته است. تغییر قالب‌ها می‌تواند منجر به تغییر چشمگیری در میزان سوگیری اندازه‌گیری شده شود. به عنوان مثال، نحوه پرسیدن یک سوال از مدل می‌تواند بر پاسخ آن تاثیر بگذارد و در نتیجه بر میزان سوگیری اندازه‌گیری شده تاثیرگذار باشد.
• وابستگی به بذرهای ویژگی و هدف (Attribute and Target Seeds): انتخاب ویژگی‌ها و اهدافی که برای سنجش سوگیری استفاده می‌شوند، تاثیر زیادی بر نتایج دارد. به عنوان مثال، اگر برای سنجش سوگیری جنسیتی از لیستی از نام‌های مردانه و زنانه استفاده شود، تغییر این لیست می‌تواند منجر به تغییر در میزان سوگیری اندازه‌گیری شده شود.
• وابستگی به انتخاب جاسازی‌ها (Choice of Embeddings): روش‌های مختلف جاسازی کلمات، نمایش‌های متفاوتی از کلمات و مفاهیم ارائه می‌دهند. استفاده از روش‌های جاسازی مختلف می‌تواند منجر به تغییر در میزان سوگیری اندازه‌گیری شده شود.

این یافته‌ها نشان می‌دهد که سنجش انصاف در مدل‌های زبانی پیش‌آموخته، کاری پیچیده و چالش‌برانگیز است و نتایج حاصل از معیارهای مختلف باید با احتیاط تفسیر شوند.

به عنوان مثال، فرض کنید می‌خواهیم سوگیری جنسیتی در یک مدل زبانی را بررسی کنیم. اگر از قالب “X یک [شغل] است” استفاده کنیم، ممکن است مدل احتمال بیشتری برای نسبت دادن برخی مشاغل به مردان یا زنان نشان دهد. اگر قالب را به “چه کسی احتمال بیشتری دارد که یک [شغل] باشد؟” تغییر دهیم، ممکن است نتایج متفاوتی بدست آوریم. این نشان می‌دهد که نتایج به شدت به نحوه پرسش سوال وابسته است.

این مقاله با ارائه یک بررسی جامع از چالش‌های موجود در زمینه سنجش انصاف، به درک بهتری از این موضوع کمک می‌کند. دستاوردها و کاربردهای اصلی این مقاله عبارتند از:

• آگاهی‌بخشی: این مقاله آگاهی جامعه علمی و مهندسان هوش مصنوعی را نسبت به چالش‌های موجود در زمینه سنجش انصاف افزایش می‌دهد.
• راهنمایی برای انتخاب معیارها: این مقاله می‌تواند به محققان و مهندسان کمک کند تا معیارهای مناسب‌تری برای سنجش انصاف در مدل‌های زبانی پیش‌آموخته انتخاب کنند. نویسندگان توصیه می‌کنند از معیارهای مبتنی بر جاسازی اجتناب کرده و بر ارزیابی‌های انصاف در وظایف پایین‌دستی تمرکز شود.
• ایجاد انگیزه برای تحقیقات بیشتر: این مقاله با شناسایی نقاط ضعف و محدودیت‌های معیارهای موجود، انگیزه ای برای تحقیقات بیشتر در زمینه توسعه معیارهای دقیق‌تر و قابل اعتمادتر برای سنجش انصاف ایجاد می‌کند.
• بهبود انصاف در کاربردهای عملی: با استفاده از توصیه‌های ارائه شده در این مقاله، می‌توان انصاف و عدالت در کاربردهای مختلف مدل‌های زبانی پیش‌آموخته را بهبود بخشید.

بهبود انصاف در مدل های زبانی پیش‌آموخته منجر به نتایج عادلانه‌تر در استخدام، پذیرش دانشگاه، اعطای وام و سایر تصمیمات مهم می‌شود که به طور مستقیم بر زندگی افراد تاثیر می‌گذارند.

مقاله “سنجش انصاف با معیارهای سوگیرانه: مروری بر کمی‌سازی سوگیری در مدل‌های زبانی پیش‌آموخته” نشان می‌دهد که ارزیابی انصاف و سوگیری در مدل‌های زبانی پیش‌آموخته یک چالش پیچیده و چندوجهی است. معیارهای فعلی اغلب ناسازگار و به شدت وابسته به عوامل مختلفی هستند. برای بهبود ارزیابی‌های آینده، نویسندگان توصیه می‌کنند که از معیارهای مبتنی بر جاسازی اجتناب شود و تمرکز به سمت ارزیابی انصاف در وظایف پایین‌دستی معطوف شود. این امر مستلزم طراحی وظایف ارزیابی است که به طور خاص برای شناسایی و اندازه‌گیری سوگیری در کاربردهای عملی طراحی شده‌اند.

در نهایت، توسعه مدل‌های زبانی منصفانه و عادلانه نیازمند تلاش مداوم و همکاری بین محققان، مهندسان و متخصصان اخلاق هوش مصنوعی است. با درک بهتر چالش‌های موجود و توسعه روش‌های ارزیابی دقیق‌تر، می‌توان به سمت ایجاد سیستم‌های هوش مصنوعی پیش رفت که برای همه افراد جامعه منصفانه و سودمند باشند.