ترجمه فارسی مقاله GABInsight: بررسی سوگیری مرتبط با جنسیت-فعالیت در مدل‌های بینایی-زبان

چکیده

Vision-language models (VLMs) are intensively used in many downstream tasks, including those requiring assessments of individuals appearing in the images. While VLMs perform well in simple single-person scenarios, in real-world applications, we often face complex situations in which there are persons of different genders doing different activities. We show that in such cases, VLMs are biased towards identifying the individual with the expected gender (according to ingrained gender stereotypes in the model or other forms of sample selection bias) as the performer of the activity. We refer to this bias in associating an activity with the gender of its actual performer in an image or text as the Gender-Activity Binding (GAB) bias and analyze how this bias is internalized in VLMs. To assess this bias, we have introduced the GAB dataset with approximately 5500 AI-generated images that represent a variety of activities, addressing the scarcity of real-world images for some scenarios. To have extensive quality control, the generated images are evaluated for their diversity, quality, and realism. We have tested 12 renowned pre-trained VLMs on this dataset in the context of text-to-image and image-to-text retrieval to measure the effect of this bias on their predictions. Additionally, we have carried out supplementary experiments to quantify the bias in VLMs’ text encoders and to evaluate VLMs’ capability to recognize activities. Our experiments indicate that VLMs experience an average performance decline of about 13.2% when confronted with gender-activity binding bias.

چکیده به فارسی (ترجمه ماشینی)

مدل های بینایی زبان (VLM) در بسیاری از کارهای پایین دست به شدت مورد استفاده قرار می گیرند ، از جمله مواردی که نیاز به ارزیابی افرادی دارند که در تصاویر ظاهر می شوند.در حالی که VLM ها در سناریوهای ساده تک نفره ، در کاربردهای دنیای واقعی عملکرد خوبی دارند ، ما اغلب با موقعیت های پیچیده ای روبرو می شویم که در آن افراد از جنس های مختلف فعالیت های مختلفی را انجام می دهند.ما نشان می دهیم که در چنین مواردی ، VLM ها نسبت به شناسایی فرد با جنسیت مورد انتظار (با توجه به کلیشه های جنسیتی در مدل یا سایر اشکال تعصب انتخاب نمونه) به عنوان مجری فعالیت مغرضانه هستند.ما به این تعصب در ارتباط یک فعالیت با جنسیت مجری واقعی آن در یک تصویر یا متن به عنوان تعصب اتصال جنسیت (GAB) اشاره می کنیم و چگونگی درونی این تعصب در VLMS را تجزیه و تحلیل می کنیم.برای ارزیابی این تعصب ، ما با استفاده از تقریباً 5500 تصویر تولید شده توسط AI که نشان دهنده فعالیت های متنوعی است ، به کمبود تصاویر در دنیای واقعی برای برخی از سناریوها ، داده های GAB را با تقریباً 5500 تصویر تولید شده AI معرفی کرده ایم.برای داشتن کنترل کیفیت گسترده ، تصاویر تولید شده برای تنوع ، کیفیت و واقع گرایی آنها ارزیابی می شود.ما 12 VLM های مشهور از پیش آموزش دیده را در این مجموعه داده در زمینه بازیابی متن به تصویر و تصویر به متن آزمایش کرده ایم تا تأثیر این تعصب را بر پیش بینی های آنها اندازه گیری کنیم.علاوه بر این ، ما آزمایش های تکمیلی را برای تعیین کمیت تعصب در رمزگذارهای متن VLMS و ارزیابی توانایی VLMS در تشخیص فعالیت ها انجام داده ایم.آزمایشات ما نشان می دهد که VLM ها در هنگام مواجهه با تعصب اتصال به فعالیت جنسیتی ، میانگین عملکرد حدود 13.2 ٪ را تجربه می کنند.