ترجمه فارسی مقاله اندازه گیری درک کاربر در سیستم های XAI مبتنی بر گفتگو

چکیده

The field of eXplainable Artificial Intelligence (XAI) is increasingly recognizing the need to personalize and/or interactively adapt the explanation to better reflect users’ explanation needs. While dialogue-based approaches to XAI have been proposed recently, the state-of-the-art in XAI is still characterized by what we call one-shot, non-personalized and one-way explanations. In contrast, dialogue-based systems that can adapt explanations through interaction with a user promise to be superior to GUI-based or dashboard explanations as they offer a more intuitive way of requesting information. In general, while interactive XAI systems are often evaluated in terms of user satisfaction, there are limited studies that access user’s objective model understanding. This is in particular the case for dialogue-based XAI approaches. In this paper, we close this gap by carrying out controlled experiments within a dialogue framework in which we measure understanding of users in three phases by asking them to simulate the predictions of the model they are learning about. By this, we can quantify the level of (improved) understanding w.r.t. how the model works, comparing the state prior, and after the interaction. We further analyze the data to reveal patterns of how the interaction between groups with high vs. low understanding gain differ. Overall, our work thus contributes to our understanding about the effectiveness of XAI approaches.

چکیده به فارسی (ترجمه ماشینی)

زمینه هوش مصنوعی قابل توضیح (XAI) به طور فزاینده ای نیاز به شخصی سازی و یا تطبیق تعاملی توضیحات را برای بهتر منعکس کننده نیازهای توضیح کاربران تشخیص می دهد.در حالی که اخیراً رویکردهای مبتنی بر گفتگو به XAI پیشنهاد شده است ، اما پیشرفته ترین هنر در XAI هنوز با آنچه ما توضیحات یک شات ، غیر شخصی و یک طرفه می نامیم مشخص می شود.در مقابل ، سیستم های مبتنی بر گفتگو که می توانند توضیحات را از طریق تعامل با یک کاربر قول دهند که برتر از توضیحات مبتنی بر GUI یا داشبورد باشند ، زیرا آنها روشی بصری تر برای درخواست اطلاعات ارائه می دهند.به طور کلی ، در حالی که سیستم های XAI تعاملی اغلب از نظر رضایت کاربر ارزیابی می شوند ، مطالعات محدودی وجود دارد که به درک مدل هدف کاربر دسترسی پیدا می کنند.این به ویژه در مورد رویکردهای XAI مبتنی بر گفتگو است.در این مقاله ، ما با انجام آزمایشات کنترل شده در یک چارچوب گفتگو ، این شکاف را می بندیم که در آن درک کاربران را در سه مرحله با درخواست از آنها برای شبیه سازی پیش بینی های مدلی که در مورد آنها می آموزند ، اندازه گیری می کنیم.با این کار ، ما می توانیم سطح (بهبود یافته) درک W.R.T. را تعیین کنیم.نحوه عملکرد مدل ، مقایسه حالت قبلی و بعد از تعامل.ما بیشتر داده ها را تجزیه و تحلیل می کنیم تا الگوهای چگونگی تعامل بین گروه ها با افزایش درک بالا در مقابل کم تفاوت را نشان دهیم.به طور کلی ، کار ما به این ترتیب به درک ما در مورد اثربخشی رویکردهای XAI کمک می کند.