ترجمه فارسی مقاله پیش پردازش و فشرده سازی: درک پالایش بازنمایی پنهان در حوزه های تصویربرداری از طریق بعد ذاتی

چکیده

In recent years, there has been interest in how geometric properties such as intrinsic dimension (ID) of a neural network’s hidden representations change through its layers, and how such properties are predictive of important model behavior such as generalization ability. However, evidence has begun to emerge that such behavior can change significantly depending on the domain of the network’s training data, such as natural versus medical images. Here, we further this inquiry by exploring how the ID of a network’s learned representations changes through its layers, in essence, characterizing how the network successively refines the information content of input data to be used for predictions. Analyzing eleven natural and medical image datasets across six network architectures, we find that how ID changes through the network differs noticeably between natural and medical image models. Specifically, medical image models peak in representation ID earlier in the network, implying a difference in the image features and their abstractness that are typically used for downstream tasks in these domains. Additionally, we discover a strong correlation of this peak representation ID with the ID of the data in its input space, implying that the intrinsic information content of a model’s learned representations is guided by that of the data it was trained on. Overall, our findings emphasize notable discrepancies in network behavior between natural and non-natural imaging domains regarding hidden representation information content, and provide further insights into how a network’s learned features are shaped by its training data.

چکیده به فارسی (ترجمه ماشینی)

در سالهای اخیر ، علاقه مند به چگونگی تغییر خصوصیات هندسی مانند ابعاد ذاتی (ID) بازنمایی های پنهان یک شبکه عصبی از طریق لایه های آن تغییر می کند ، و اینکه چگونه چنین خواصی پیش بینی کننده رفتار مدل مهم مانند توانایی عمومی سازی است.با این حال ، شواهد شروع شده اند که بسته به حوزه داده های آموزش شبکه ، مانند تصاویر طبیعی در مقابل تصاویر ، می تواند به میزان قابل توجهی تغییر کند.در اینجا ، ما این سؤال را با بررسی چگونگی تغییر شناسه بازنمایی های یک شبکه از طریق لایه های آن تغییر می دهیم ، در اصل ، توصیف می کنیم که چگونه شبکه به طور پی در پی محتوای اطلاعاتی از داده های ورودی را برای پیش بینی ها اصلاح می کند.تجزیه و تحلیل یازده مجموعه داده تصویر طبیعی و پزشکی در شش معماری شبکه ، می فهمیم که چگونه شناسه از طریق شبکه تغییر می کند بین مدل های تصویر طبیعی و پزشکی متفاوت است.به طور خاص ، مدل های تصویر پزشکی در اوایل شبکه در شناسه بازنمایی به اوج خود می رسند ، دلالت بر تفاوت در ویژگی های تصویر و انتزاعی آنها که معمولاً برای کارهای پایین دست در این حوزه ها استفاده می شود.علاوه بر این ، ما همبستگی محکمی از این شناسه بازنمایی اوج با شناسه داده ها در فضای ورودی آن را کشف می کنیم ، دلالت بر اینکه محتوای اطلاعات ذاتی بازنمایی های آموخته شده یک مدل توسط داده هایی که در آن آموزش داده شده است هدایت می شود.به طور کلی ، یافته های ما بر اختلافات قابل توجه در رفتار شبکه بین حوزه های تصویربرداری طبیعی و غیر طبیعی در مورد محتوای اطلاعات نمایش پنهان تأکید می کند ، و بینش بیشتری در مورد چگونگی شکل گیری ویژگی های آموخته شده یک شبکه توسط داده های آموزشی آن ارائه می دهد.