ترجمه فارسی مقاله یک چارچوب مفهومی برای ارزیابی اخلاقی سیستم های یادگیری ماشین

چکیده

Research in Responsible AI has developed a range of principles and practices to ensure that machine learning systems are used in a manner that is ethical and aligned with human values. However, a critical yet often neglected aspect of ethical ML is the ethical implications that appear when designing evaluations of ML systems. For instance, teams may have to balance a trade-off between highly informative tests to ensure downstream product safety, with potential fairness harms inherent to the implemented testing procedures. We conceptualize ethics-related concerns in standard ML evaluation techniques. Specifically, we present a utility framework, characterizing the key trade-off in ethical evaluation as balancing information gain against potential ethical harms. The framework is then a tool for characterizing challenges teams face, and systematically disentangling competing considerations that teams seek to balance. Differentiating between different types of issues encountered in evaluation allows us to highlight best practices from analogous domains, such as clinical trials and automotive crash testing, which navigate these issues in ways that can offer inspiration to improve evaluation processes in ML. Our analysis underscores the critical need for development teams to deliberately assess and manage ethical complexities that arise during the evaluation of ML systems, and for the industry to move towards designing institutional policies to support ethical evaluations.

چکیده به فارسی (ترجمه ماشینی)

تحقیقات در AI مسئول طیف وسیعی از اصول و شیوه ها را توسعه داده است تا اطمینان حاصل شود که از سیستم های یادگیری ماشین به گونه ای استفاده می شود که اخلاقی باشد و با ارزش های انسانی هماهنگ باشد.با این حال ، یک جنبه مهم و در عین حال غالباً غفلت از ML اخلاقی ، پیامدهای اخلاقی است که هنگام طراحی ارزیابی سیستم های ML ظاهر می شود.به عنوان مثال ، تیم ها ممکن است برای اطمینان از ایمنی محصول در پایین دست ، با تست های بسیار آموزنده ، با انصاف بالقوه آسیب ببینند ، با ضایعات احتمالی انصاف ذاتی به روشهای آزمایش اجرا شده.ما نگرانی های مربوط به اخلاق را در تکنیک های ارزیابی استاندارد ML مفهوم سازی می کنیم.به طور خاص ، ما یک چارچوب ابزار را ارائه می دهیم ، که تجارت کلیدی در ارزیابی اخلاقی را به عنوان تعادل کسب اطلاعات در برابر مضرات احتمالی اخلاقی توصیف می کند.این چارچوب سپس ابزاری برای توصیف چالش های تیم ها و به طور سیستماتیک از ملاحظات رقابتی که تیم ها به دنبال تعادل هستند ، جدا می کند.تمایز بین انواع مختلفی از موضوعاتی که در ارزیابی وجود دارد ، به ما امکان می دهد تا بهترین شیوه ها را از حوزه های مشابه ، مانند کارآزمایی های بالینی و آزمایش تصادف خودرو ، برجسته کنیم ، که به این موضوعات حرکت می کنند که می تواند الهام بخش برای بهبود فرایندهای ارزیابی در ML باشد.تجزیه و تحلیل ما بر نیاز اساسی تیم های توسعه برای ارزیابی عمدی و مدیریت پیچیدگی های اخلاقی که در طول ارزیابی سیستم های ML بوجود می آیند ، تأکید می کند و این صنعت به سمت طراحی سیاست های نهادی برای حمایت از ارزیابی های اخلاقی حرکت می کند.