ترجمه فارسی مقاله طبقه‌بندی محتوای کلیشه‌ای در مدل‌های زبانی بزرگ

چکیده

This study introduces a taxonomy of stereotype content in contemporary large language models (LLMs). We prompt ChatGPT 3.5, Llama 3, and Mixtral 8x7B, three powerful and widely used LLMs, for the characteristics associated with 87 social categories (e.g., gender, race, occupations). We identify 14 stereotype dimensions (e.g., Morality, Ability, Health, Beliefs, Emotions), accounting for ~90% of LLM stereotype associations. Warmth and Competence facets were the most frequent content, but all other dimensions were significantly prevalent. Stereotypes were more positive in LLMs (vs. humans), but there was significant variability across categories and dimensions. Finally, the taxonomy predicted the LLMs’ internal evaluations of social categories (e.g., how positively/negatively the categories were represented), supporting the relevance of a multidimensional taxonomy for characterizing LLM stereotypes. Our findings suggest that high-dimensional human stereotypes are reflected in LLMs and must be considered in AI auditing and debiasing to minimize unidentified harms from reliance in low-dimensional views of bias in LLMs.

چکیده به فارسی (ترجمه ماشینی)

این مطالعه طبقه بندی محتوای کلیشه را در مدلهای بزرگ زبان معاصر (LLMS) معرفی می کند.ما برای ویژگی های مرتبط با 87 دسته اجتماعی (به عنوان مثال ، جنسیت ، نژاد ، مشاغل) ، ما Chatgpt 3.5 ، Llama 3 و Mixtral 8x7B ، سه LLM قدرتمند و به طور گسترده استفاده می کنیم.ما 14 ابعاد کلیشه (به عنوان مثال ، اخلاق ، توانایی ، سلامت ، اعتقادات ، احساسات) را شناسایی می کنیم ، که 90 ٪ از انجمن های کلیشه LLM را به خود اختصاص می دهد.چهره های گرما و شایستگی شایع ترین محتوا بودند ، اما تمام ابعاد دیگر به طور قابل توجهی شیوع داشتند.کلیشه ها در LLMS (در مقابل انسان) مثبت تر بودند ، اما در دسته ها و ابعاد تنوع قابل توجهی وجود داشت.سرانجام ، طبقه بندی ارزیابی های داخلی LLMS از مقوله های اجتماعی را پیش بینی کرد (به عنوان مثال ، چگونه دسته بندی ها مثبت/منفی نشان داده شده اند) ، از اهمیت یک طبقه بندی چند بعدی برای توصیف کلیشه های LLM حمایت می کند.یافته های ما نشان می دهد که کلیشه های انسانی با ابعاد بالا در LLM ها منعکس می شوند و باید در حسابرسی هوش مصنوعی و مبهم در نظر گرفته شوند تا آسیب های ناشناخته از اتکا به دیدگاههای کم بعدی از تعصب در LLMS به حداقل برسد.