ترجمه فارسی مقاله VLG-CBM: مدل‌های گلوگاه مفهوم آموزش با راهنمایی بصری-زبانی

چکیده

Concept Bottleneck Models (CBMs) provide interpretable prediction by introducing an intermediate Concept Bottleneck Layer (CBL), which encodes human-understandable concepts to explain models’ decision. Recent works proposed to utilize Large Language Models (LLMs) and pre-trained Vision-Language Models (VLMs) to automate the training of CBMs, making it more scalable and automated. However, existing approaches still fall short in two aspects: First, the concepts predicted by CBL often mismatch the input image, raising doubts about the faithfulness of interpretation. Second, it has been shown that concept values encode unintended information: even a set of random concepts could achieve comparable test accuracy to state-of-the-art CBMs. To address these critical limitations, in this work, we propose a novel framework called Vision-Language-Guided Concept Bottleneck Model (VLG-CBM) to enable faithful interpretability with the benefits of boosted performance. Our method leverages off-the-shelf open-domain grounded object detectors to provide visually grounded concept annotation, which largely enhances the faithfulness of concept prediction while further improving the model performance. In addition, we propose a new metric called Number of Effective Concepts (NEC) to control the information leakage and provide better interpretability. Extensive evaluations across five standard benchmarks show that our method, VLG-CBM, outperforms existing methods by at least 4.27% and up to 51.09% on accuracy at NEC=5, and by at least 0.45% and up to 29.78% on average accuracy across different NECs, while preserves both faithfulness and interpretability of the learned concepts as demonstrated in extensive experiments.

چکیده به فارسی (ترجمه ماشینی)

مدل های تنگنا مفهومی (CBM) با معرفی یک لایه تنگنای مفهومی واسطه (CBL) ، پیش بینی قابل تفسیر را ارائه می دهند ، که مفاهیم قابل درک انسان را برای توضیح تصمیم مدل ها رمزگذاری می کند.آثار اخیر برای استفاده از مدل های بزرگ زبان (LLMS) و مدل های قبل از آموزش دیدگاه (VLMS) برای خودکارسازی آموزش CBMS ارائه شده است و آن را مقیاس پذیر تر و خودکار تر می کند.با این حال ، رویکردهای موجود هنوز از دو جنبه کوتاه می آیند: اول ، مفاهیم پیش بینی شده توسط CBL غالباً تصویر ورودی را ناسازگار می کنند و در مورد وفاداری تفسیر شک می کنند.دوم ، نشان داده شده است که مقادیر مفهومی اطلاعات ناخواسته را رمزگذاری می کنند: حتی مجموعه ای از مفاهیم تصادفی می توانند به دقت آزمون قابل مقایسه با CBM های پیشرفته دست یابند.برای پرداختن به این محدودیت های مهم ، در این کار ، ما یک چارچوب جدید به نام مدل تنگنای مفهومی با هدایت به زبان (VLG-CBM) پیشنهاد می کنیم تا تفسیر وفادار را با مزایای تقویت عملکرد فعال کنیم.روش ما برای ارائه حاشیه نویسی مفهوم بصری ، که تا حد زیادی وفاداری پیش بینی مفهوم را تقویت می کند ، ضمن بهبود بیشتر عملکرد مدل ، از ردیاب های شیء مبتنی بر دامنه باز استفاده می کند.علاوه بر این ، ما یک متریک جدید به نام تعداد مفاهیم مؤثر (NEC) برای کنترل نشت اطلاعات و ارائه تفسیر بهتر پیشنهاد می کنیم.ارزیابی های گسترده در پنج معیار استاندارد نشان می دهد که روش ما ، VLG-CBM ، از روشهای موجود حداقل 4.27 ٪ و تا 51.09 ٪ در دقت در NEC = 5 و حداقل 0.45 ٪ و تا 29.78 ٪ به طور متوسط ​​در دقت در سراسر دقت می کند.NEC های مختلف ، در حالی که هم وفاداری و هم تفسیر مفاهیم آموخته شده را که در آزمایش های گسترده نشان داده شده است ، حفظ می کند.