مقاله ممیزی مدلهای بزرگ زبان: بهبود تشخیص کلیشه مبتنی بر متن

چکیده

Large Language Models (LLM) have made significant advances in the recent past becoming more mainstream in Artificial Intelligence (AI) enabled human-facing applications. However, LLMs often generate stereotypical output inherited from historical data, amplifying societal biases and raising ethical concerns. This work introduces i) the Multi-Grain Stereotype Dataset, which includes 52,751 instances of gender, race, profession and religion stereotypic text and ii) a novel stereotype classifier for English text. We design several experiments to rigorously test the proposed model trained on the novel dataset. Our experiments show that training the model in a multi-class setting can outperform the one-vs-all binary counterpart. Consistent feature importance signals from different eXplainable AI tools demonstrate that the new model exploits relevant text features. We utilise the newly created model to assess the stereotypic behaviour of the popular GPT family of models and observe the reduction of bias over time. In summary, our work establishes a robust and practical framework for auditing and evaluating the stereotypic bias in LLM.

چکیده به فارسی (ترجمه ماشینی)

مدلهای بزرگ زبان (LLM) در گذشته اخیر پیشرفت های چشمگیری داشته اند و به جریان اصلی در هوش مصنوعی (AI) برنامه های کاربردی در روکش انسان تبدیل شده اند.با این حال ، LLM ها غالباً تولید کلیشه ای را که از داده های تاریخی به ارث می برند ، تقویت تعصبات اجتماعی و ایجاد نگرانی های اخلاقی می کنند.این اثر i) مجموعه داده های کلیشه ای چند دانه ای را معرفی می کند ، که شامل 52751 نمونه از جنسیت ، نژاد ، حرفه و متن کلیشه ای و II) یک طبقه بندی کلیشه جدید برای متن انگلیسی است.ما چندین آزمایش را برای آزمایش دقیق مدل پیشنهادی آموزش داده شده در مجموعه داده های جدید طراحی می کنیم.آزمایشات ما نشان می دهد که آموزش مدل در یک تنظیم چند طبقه می تواند از همتای باینری یک VS-ALL بهتر عمل کند.سیگنال های اهمیت اهمیت ثابت از ابزارهای مختلف AI قابل توضیح نشان می دهد که مدل جدید از ویژگی های متن مربوطه بهره برداری می کند.ما از مدل تازه ایجاد شده برای ارزیابی رفتار کلیشه ای از خانواده محبوب GPT مدل ها استفاده می کنیم و کاهش تعصب را در طول زمان مشاهده می کنیم.به طور خلاصه ، کار ما یک چارچوب قوی و عملی برای حسابرسی و ارزیابی تعصب کلیشه ای در LLM ایجاد می کند.