ترجمه فارسی مقاله TextCAVs: اشکال زدایی مدل های بینایی با استفاده از متن

چکیده

Concept-based interpretability methods are a popular form of explanation for deep learning models which provide explanations in the form of high-level human interpretable concepts. These methods typically find concept activation vectors (CAVs) using a probe dataset of concept examples. This requires labelled data for these concepts — an expensive task in the medical domain. We introduce TextCAVs: a novel method which creates CAVs using vision-language models such as CLIP, allowing for explanations to be created solely using text descriptions of the concept, as opposed to image exemplars. This reduced cost in testing concepts allows for many concepts to be tested and for users to interact with the model, testing new ideas as they are thought of, rather than a delay caused by image collection and annotation. In early experimental results, we demonstrate that TextCAVs produces reasonable explanations for a chest x-ray dataset (MIMIC-CXR) and natural images (ImageNet), and that these explanations can be used to debug deep learning-based models.

چکیده به فارسی (ترجمه ماشینی)

روشهای تفسیر مبتنی بر مفهوم یک شکل محبوب توضیحات برای مدل های یادگیری عمیق است که توضیحاتی را در قالب مفاهیم قابل تفسیر انسانی سطح بالا ارائه می دهد.این روشها به طور معمول بردارهای فعال سازی مفهومی (CAV) را با استفاده از مجموعه داده های پروب نمونه های مفهومی پیدا می کنند.این امر به داده های برچسب زده شده برای این مفاهیم نیاز دارد – یک کار گران قیمت در حوزه پزشکی.ما TextCavs را معرفی می کنیم: یک روش جدید که با استفاده از مدلهای بینایی زبان مانند کلیپ ، CAV ها را ایجاد می کند و این امکان را فراهم می کند که فقط با استفاده از توضیحات متن از مفهوم ، بر خلاف نمونه های تصویر ایجاد شود.این کاهش هزینه در تست مفاهیم امکان آزمایش بسیاری از مفاهیم را فراهم می کند و برای کاربران برای تعامل با مدل ، آزمایش ایده های جدید را همانطور که تصور می شود ، آزمایش می کنند و نه تأخیر ناشی از جمع آوری تصویر و حاشیه نویسی.در نتایج آزمایشی اولیه ، ما نشان می دهیم که TextCavs توضیحات معقولی را برای مجموعه داده اشعه ایکس قفسه سینه (MIMIC-CXR) و تصاویر طبیعی (ImageNet) تولید می کند ، و این توضیحات را می توان برای اشکال زدایی از مدل های عمیق مبتنی بر یادگیری استفاده کرد.