ترجمه فارسی مقاله آموزش کاوش برای MCMC گرادیان تصادفی

چکیده

Bayesian Neural Networks(BNNs) with high-dimensional parameters pose a challenge for posterior inference due to the multi-modality of the posterior distributions. Stochastic Gradient MCMC(SGMCMC) with cyclical learning rate scheduling is a promising solution, but it requires a large number of sampling steps to explore high-dimensional multi-modal posteriors, making it computationally expensive. In this paper, we propose a meta-learning strategy to build \gls{sgmcmc} which can efficiently explore the multi-modal target distributions. Our algorithm allows the learned SGMCMC to quickly explore the high-density region of the posterior landscape. Also, we show that this exploration property is transferrable to various tasks, even for the ones unseen during a meta-training stage. Using popular image classification benchmarks and a variety of downstream tasks, we demonstrate that our method significantly improves the sampling efficiency, achieving better performance than vanilla \gls{sgmcmc} without incurring significant computational overhead.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی بیزی (BNN) با پارامترهای با ابعاد بالا به دلیل چند ماده بودن توزیع خلفی ، برای استنباط خلفی چالش ایجاد می کنند.شیب تصادفی MCMC (SGMCMC) با برنامه ریزی نرخ یادگیری چرخه ای یک راه حل امیدوارکننده است ، اما برای کشف پوستر چند منظوره چند منظوره بالا به تعداد زیادی از مراحل نمونه برداری نیاز دارد و آن را از نظر محاسباتی گران می کند.در این مقاله ، ما یک استراتژی یادگیری متا را برای ساخت \ gls {sgmcmc} پیشنهاد می کنیم که می تواند به طور مؤثر توزیع های هدف چند منظوره را کشف کند.الگوریتم ما به SGMCMC آموخته شده اجازه می دهد تا به سرعت منطقه با چگالی بالا از منظره خلفی را کشف کند.همچنین ، ما نشان می دهیم که این خاصیت اکتشافی حتی برای مواردی که در یک مرحله متا-آموزش دیده نشده است ، به کارهای مختلف منتقل می شود.با استفاده از معیارهای طبقه بندی تصویر محبوب و انواع کارهای پایین دست ، ما نشان می دهیم که روش ما به طور قابل توجهی راندمان نمونه برداری را بهبود می بخشد ، و به عملکرد بهتر نسبت به وانیل \ GLS {SGMCMC} بدون تحمل سربار محاسباتی قابل توجهی دست می یابد.