ترجمه فارسی مقاله تصمیم‌گیرنده: استفاده از مدل‌های پیشین بنیاد برای بهبود تشخیص و توضیح شکست مدل

چکیده

Reliably detecting when a deployed machine learning model is likely to fail on a given input is crucial for ensuring safe operation. In this work, we propose DECIDER (Debiasing Classifiers to Identify Errors Reliably), a novel approach that leverages priors from large language models (LLMs) and vision-language models (VLMs) to detect failures in image classification models. DECIDER utilizes LLMs to specify task-relevant core attributes and constructs a “debiased” version of the classifier by aligning its visual features to these core attributes using a VLM, and detects potential failure by measuring disagreement between the original and debiased models. In addition to proactively identifying samples on which the model would fail, DECIDER also provides human-interpretable explanations for failure through a novel attribute-ablation strategy. Through extensive experiments across diverse benchmarks spanning subpopulation shifts (spurious correlations, class imbalance) and covariate shifts (synthetic corruptions, domain shifts), DECIDER consistently achieves state-of-the-art failure detection performance, significantly outperforming baselines in terms of the overall Matthews correlation coefficient as well as failure and success recall. Our codes can be accessed at~url{https://github.com/kowshikthopalli/DECIDER/}

چکیده به فارسی (ترجمه ماشینی)

با اطمینان تشخیص هنگامی که یک مدل یادگیری ماشین مستقر در یک ورودی مشخص شکست می خورد ، برای اطمینان از عملکرد ایمن بسیار مهم است.در این کار ، ما تصمیم گیری را پیشنهاد می کنیم (طبقه بندی کننده های debiasing برای شناسایی خطاها به طور قابل اعتماد) ، یک رویکرد جدید که از مدل های بزرگ زبان (LLMS) و مدل های بینایی زبان (VLMS) استفاده می کند تا در مدل های طبقه بندی تصویر خرابی ها را تشخیص دهد.Decider از LLMS برای مشخص کردن ویژگی های اصلی مربوط به کار استفاده می کند و با تراز کردن ویژگی های بصری خود به این ویژگی های اصلی با استفاده از VLM ، نسخه “debiased” طبقه بندی کننده را ایجاد می کند و با اندازه گیری اختلاف بین مدل های اصلی و debiased ، خرابی بالقوه را تشخیص می دهد.علاوه بر شناسایی پیشرو نمونه هایی که مدل در آن شکست می خورد ، تصمیم گیری همچنین توضیحات قابل تفسیر انسان را برای عدم موفقیت از طریق یک استراتژی جدید و ویژگی های جدید ارائه می دهد.از طریق آزمایش های گسترده در معیارهای متنوعی که تغییر شکل زیر گروهی (همبستگی های فریبنده ، عدم تعادل کلاس) و تغییر متغیر (فساد مصنوعی ، تغییر دامنه) ، تصمیم گیری به طور مداوم به عملکرد تشخیصی ناکامی در حال انجام است ، به طور قابل توجهی از خطوط پایه از نظر متدس های کلی خارج می شود.ضریب همبستگی و همچنین عدم موفقیت و فراخوان موفقیت.به کدهای ما می توان در ~ url {https://github.com/kowshikthopalli/decider/} دسترسی پیدا کرد