ترجمه فارسی مقاله مقیاس مجموعه داده‌ها و سازگاری اجتماعی، واسطه سوگیری برداشت از چهره در هوش مصنوعی بینایی-زبانی

چکیده

Multimodal AI models capable of associating images and text hold promise for numerous domains, ranging from automated image captioning to accessibility applications for blind and low-vision users. However, uncertainty about bias has in some cases limited their adoption and availability. In the present work, we study 43 CLIP vision-language models to determine whether they learn human-like facial impression biases, and we find evidence that such biases are reflected across three distinct CLIP model families. We show for the first time that the the degree to which a bias is shared across a society predicts the degree to which it is reflected in a CLIP model. Human-like impressions of visually unobservable attributes, like trustworthiness and sexuality, emerge only in models trained on the largest dataset, indicating that a better fit to uncurated cultural data results in the reproduction of increasingly subtle social biases. Moreover, we use a hierarchical clustering approach to show that dataset size predicts the extent to which the underlying structure of facial impression bias resembles that of facial impression bias in humans. Finally, we show that Stable Diffusion models employing CLIP as a text encoder learn facial impression biases, and that these biases intersect with racial biases in Stable Diffusion XL-Turbo. While pretrained CLIP models may prove useful for scientific studies of bias, they will also require significant dataset curation when intended for use as general-purpose models in a zero-shot setting.

چکیده به فارسی (ترجمه ماشینی)

مدل های AI چند حالته قادر به ارتباط تصاویر و متن برای دامنه های بی شماری ، اعم از زیرنویس خودکار تصویر گرفته تا برنامه های دسترسی برای کاربران نابینا و کم نظیر.با این حال ، عدم اطمینان در مورد تعصب در برخی موارد ، پذیرش و در دسترس بودن آنها را محدود کرده است.در کار حاضر ، ما 43 مدلهای کلیپ بینایی را برای تعیین اینکه آیا آنها تعصبات تصور چهره انسان را یاد می گیرند ، مطالعه می کنیم ، و شواهدی می یابیم که چنین تعصباتی در سه خانواده مدل کلیپ مجزا منعکس شده است.ما برای اولین بار نشان می دهیم که میزان به اشتراک گذاشتن تعصب در جامعه ، میزان منعکس کننده آن در یک مدل کلیپ را پیش بینی می کند.برداشت های انسانی مانند از ویژگی های غیرقابل توصیف بصری ، مانند اعتماد به نفس و تمایلات جنسی ، فقط در مدل هایی که در بزرگترین مجموعه داده آموزش دیده اند ظاهر می شوند ، نشان می دهد که تناسب بهتری برای داده های فرهنگی غیرقابل توصیف منجر به تولید مثل فزاینده اجتماعی می شود.علاوه بر این ، ما از یک رویکرد خوشه بندی سلسله مراتبی استفاده می کنیم تا نشان دهیم که اندازه مجموعه داده ها تا چه اندازه پیش بینی می کند که ساختار اساسی تعصب تصور صورت شبیه به تعصب تصور صورت در انسان است.سرانجام ، ما نشان می دهیم که مدل های انتشار پایدار که از کلیپ به عنوان یک رمزگذار متن استفاده می کنند ، تعصبات تصور صورت را می آموزند ، و این تعصبات با تعصبات نژادی در انتشار پایدار XL-Turbo در هم می شوند.در حالی که مدل های کلیپ از پیش داده شده ممکن است برای مطالعات علمی تعصب مفید باشد ، در صورت استفاده به عنوان مدلهای هدف عمومی در یک تنظیم صفر ، به درمان داده های قابل توجهی نیز نیاز دارند.