ترجمه فارسی مقاله سوگیری باعث سوگیری می‌شود: تأثیر تعبیه‌های مغرضانه بر مدل‌های انتشار

چکیده

With the growing adoption of Text-to-Image (TTI) systems, the social biases of these models have come under increased scrutiny. Herein we conduct a systematic investigation of one such source of bias for diffusion models: embedding spaces. First, because traditional classifier-based fairness definitions require true labels not present in generative modeling, we propose statistical group fairness criteria based on a model’s internal representation of the world. Using these definitions, we demonstrate theoretically and empirically that an unbiased text embedding space for input prompts is a necessary condition for representationally balanced diffusion models, meaning the distribution of generated images satisfy diversity requirements with respect to protected attributes. Next, we investigate the impact of biased embeddings on evaluating the alignment between generated images and prompts, a process which is commonly used to assess diffusion models. We find that biased multimodal embeddings like CLIP can result in lower alignment scores for representationally balanced TTI models, thus rewarding unfair behavior. Finally, we develop a theoretical framework through which biases in alignment evaluation can be studied and propose bias mitigation methods. By specifically adapting the perspective of embedding spaces, we establish new fairness conditions for diffusion model development and evaluation.

چکیده به فارسی (ترجمه ماشینی)

با اتخاذ رو به رشد سیستم های متن به تصویر (TTI) ، تعصبات اجتماعی این مدل ها تحت نظارت افزایش یافته است.در اینجا ما یک تحقیق سیستماتیک از چنین منبع تعصب برای مدل های انتشار انجام می دهیم: فضاهای جاسازی.اول ، از آنجا که تعاریف انصاف مبتنی بر طبقه بندی سنتی نیاز به برچسب های واقعی ندارد که در مدل سازی تولیدی وجود ندارد ، ما معیارهای انصاف گروه آماری را بر اساس بازنمایی داخلی یک مدل از جهان پیشنهاد می کنیم.با استفاده از این تعاریف ، ما از نظر تئوری و تجربی نشان می دهیم که یک فضای تعبیه شده متن بی طرفانه برای ارسال های ورودی یک شرط لازم برای مدل های انتشار متعادل است ، به این معنی که توزیع تصاویر تولید شده الزامات تنوع را با توجه به ویژگی های محافظت شده برآورده می کند.در مرحله بعد ، ما تأثیر تعبیه های مغرضانه در ارزیابی تراز بین تصاویر و اعلان های تولید شده را بررسی می کنیم ، فرایندی که معمولاً برای ارزیابی مدلهای انتشار استفاده می شود.ما می دانیم که تعبیهات چند حالته مغرضانه مانند کلیپ می تواند منجر به نمرات تراز پایین تر برای مدل های TTI متعادل بازنمایی شود ، بنابراین به رفتار ناعادلانه پاداش می دهد.سرانجام ، ما یک چارچوب نظری را توسعه می دهیم که از طریق آن می توان تعصب در ارزیابی تراز را مورد بررسی قرار داد و روشهای کاهش تعصب را پیشنهاد کرد.با تطبیق خاص دیدگاه فضاهای جاسازی ، ما شرایط انصاف جدید را برای توسعه و ارزیابی مدل انتشار ایجاد می کنیم.