ترجمه فارسی مقاله پیوند استحکام و تعمیم: تحلیل توزیع k* خوشه بندی مفهومی در فضای پنهان برای مدل های بینایی

چکیده

Most evaluations of vision models use indirect methods to assess latent space quality. These methods often involve adding extra layers to project the latent space into a new one. This projection makes it difficult to analyze and compare the original latent space. This article uses the k* Distribution, a local neighborhood analysis method, to examine the learned latent space at the level of individual concepts, which can be extended to examine the entire latent space. We introduce skewness-based true and approximate metrics for interpreting individual concepts to assess the overall quality of vision models’ latent space. Our findings indicate that current vision models frequently fracture the distributions of individual concepts within the latent space. Nevertheless, as these models improve in generalization across multiple datasets, the degree of fracturing diminishes. A similar trend is observed in robust vision models, where increased robustness correlates with reduced fracturing. Ultimately, this approach enables a direct interpretation and comparison of the latent spaces of different vision models and reveals a relationship between a model’s generalizability and robustness. Results show that as a model becomes more general and robust, it tends to learn features that result in better clustering of concepts. Project Website is available online at https://shashankkotyan.github.io/k-Distribution/

چکیده به فارسی (ترجمه ماشینی)

بیشتر ارزیابی های مدل های بینایی از روشهای غیرمستقیم برای ارزیابی کیفیت فضای نهفته استفاده می کنند.این روشها اغلب شامل اضافه کردن لایه های اضافی برای طرح فضای نهفته به یک مورد جدید است.این طرح ریزی ، تجزیه و تحلیل و مقایسه فضای اصلی نهان را دشوار می کند.در این مقاله از توزیع K* ، یک روش تجزیه و تحلیل محله محلی ، برای بررسی فضای نهفته آموخته شده در سطح مفاهیم فردی استفاده شده است که می تواند برای بررسی کل فضای نهفته گسترش یابد.ما معیارهای واقعی و تقریبی مبتنی بر Skewness را برای تفسیر مفاهیم فردی برای ارزیابی کیفیت کلی فضای نهفته مدل های بینایی معرفی می کنیم.یافته های ما نشان می دهد که مدل های دید فعلی غالباً توزیع مفاهیم فردی را در فضای نهفته شکستگی می کنند.با این وجود ، با افزایش این مدل ها در تعمیم در چندین مجموعه داده ، میزان شکستگی کاهش می یابد.روند مشابهی در مدل های دید قوی مشاهده می شود ، که در آن افزایش استحکام با کاهش شکستگی ارتباط دارد.در نهایت ، این رویکرد یک تفسیر مستقیم و مقایسه فضاهای نهفته مدل های مختلف دید را امکان پذیر می کند و رابطه بین تعمیم پذیری و استحکام یک مدل را نشان می دهد.نتایج نشان می دهد که هرچه یک مدل عمومی تر و قوی تر شود ، تمایل به یادگیری ویژگی هایی دارد که منجر به خوشه بندی بهتر مفاهیم می شود.وب سایت پروژه به صورت آنلاین در https://shashankkotyan.github.io/k-distribution/ در دسترس است