ترجمه فارسی مقاله زمینه ها موضوع: یک مطالعه تجربی در مورد تأثیر متنی در آزمایش انصاف برای سیستم های یادگیری عمیق

چکیده

Background: Fairness testing for deep learning systems has been becoming increasingly important. However, much work assumes perfect context and conditions from the other parts: well-tuned hyperparameters for accuracy; rectified bias in data, and mitigated bias in the labeling. Yet, these are often difficult to achieve in practice due to their resource-/labour-intensive nature. Aims: In this paper, we aim to understand how varying contexts affect fairness testing outcomes. Method:We conduct an extensive empirical study, which covers $10,800$ cases, to investigate how contexts can change the fairness testing result at the model level against the existing assumptions. We also study why the outcomes were observed from the lens of correlation/fitness landscape analysis. Results: Our results show that different context types and settings generally lead to a significant impact on the testing, which is mainly caused by the shifts of the fitness landscape under varying contexts. Conclusions: Our findings provide key insights for practitioners to evaluate the test generators and hint at future research directions.

چکیده به فارسی (ترجمه ماشینی)

سابقه و هدف: آزمایش انصاف برای سیستم های یادگیری عمیق به طور فزاینده ای اهمیت پیدا کرده است.با این حال ، کار زیادی زمینه و شرایط کامل را از قسمت های دیگر فرض می کند: هایپرپارامترهای خوب تنظیم شده برای دقت.تعصب اصلاح شده در داده ها ، و تعصب کاهش یافته در برچسب زدن.با این حال ، دستیابی به این موارد اغلب به دلیل ماهیت منابع/نیروی کار آنها در عمل بسیار دشوار است.اهداف: در این مقاله ، هدف ما این است که درک کنیم که چگونه زمینه های مختلف بر نتایج آزمایش انصاف تأثیر می گذارد.روش: ما یک مطالعه تجربی گسترده ، که شامل 10،800 دلار موارد است ، انجام می دهیم تا بررسی کنیم که چگونه زمینه ها می توانند نتیجه آزمایش انصاف را در سطح مدل در برابر فرضیات موجود تغییر دهند.ما همچنین مطالعه می کنیم که چرا نتایج از لنزهای همبستگی/آنالیز چشم انداز تناسب اندام مشاهده شده است.یافته ها: نتایج ما نشان می دهد که انواع و تنظیمات مختلف زمینه به طور کلی منجر به تأثیر قابل توجهی در آزمایش می شوند ، که عمدتاً در اثر تغییر چشم انداز تناسب اندام در زمینه های مختلف ایجاد می شود.نتیجه گیری: یافته های ما بینش های کلیدی را برای پزشکان برای ارزیابی ژنراتورهای آزمون و اشاره در جهت های تحقیق آینده ارائه می دهد.