ترجمه فارسی مقاله شکست‌های استنتاج تغییراتی تحت تقارن‌های مدل: پسین‌های ثابت جایگشتی برای شبکه‌های عصبی بیزی

چکیده

Weight space symmetries in neural network architectures, such as permutation symmetries in MLPs, give rise to Bayesian neural network (BNN) posteriors with many equivalent modes. This multimodality poses a challenge for variational inference (VI) techniques, which typically rely on approximating the posterior with a unimodal distribution. In this work, we investigate the impact of weight space permutation symmetries on VI. We demonstrate, both theoretically and empirically, that these symmetries lead to biases in the approximate posterior, which degrade predictive performance and posterior fit if not explicitly accounted for. To mitigate this behavior, we leverage the symmetric structure of the posterior and devise a symmetrization mechanism for constructing permutation invariant variational posteriors. We show that the symmetrized distribution has a strictly better fit to the true posterior, and that it can be trained using the original ELBO objective with a modified KL regularization term. We demonstrate experimentally that our approach mitigates the aforementioned biases and results in improved predictions and a higher ELBO.

چکیده به فارسی (ترجمه ماشینی)

تقارن فضای وزن در معماری های شبکه عصبی ، مانند تقارن مجوز در MLP ها ، باعث ایجاد خلفی شبکه عصبی بیزی (BNN) با حالت های معادل بسیاری می شود.این چند حالته برای تکنیک های استنباط متغیر (VI) یک چالش را ایجاد می کند ، که به طور معمول به تقریب خلفی با یک توزیع غیرمعمول متکی هستند.در این کار ، ما تأثیر تقارن جابجایی فضای وزن بر VI را بررسی می کنیم.ما از نظر تئوری و تجربی نشان می دهیم که این تقارن منجر به تعصب در خلفی تقریبی می شود ، که عملکرد پیش بینی کننده و تناسب خلفی را اگر صریحاً حساب نشود ، تخریب می کند.برای کاهش این رفتار ، ما از ساختار متقارن خلفی استفاده می کنیم و یک مکانیسم تقارن را برای ساخت خلفی متغیر متغیر متغیر ابداع می کنیم.ما نشان می دهیم که توزیع متقارن کاملاً مناسب تر از خلفی واقعی است و می توان با استفاده از هدف اصلی ELBO با یک اصطلاح منظم KL اصلاح شده آموزش دید.ما به صورت تجربی نشان می دهیم که رویکرد ما تعصبات فوق الذکر را کاهش می دهد و منجر به پیش بینی های بهبود یافته و ELBO بالاتر می شود.