مقاله سمپل به عنوان استنباط: برنامه نویسی پیش نگرانه با دینامیک لانژوین

چکیده

We present a novel algorithm for parameter learning in generic deep generative models that builds upon the predictive coding (PC) framework of computational neuroscience. Our approach modifies the standard PC algorithm to bring performance on-par and exceeding that obtained from standard variational auto-encoder (VAE) training. By injecting Gaussian noise into the PC inference procedure we re-envision it as an overdamped Langevin sampling, which facilitates optimisation with respect to a tight evidence lower bound (ELBO). We improve the resultant encoder-free training method by incorporating an encoder network to provide an amortised warm-start to our Langevin sampling and test three different objectives for doing so. Finally, to increase robustness to the sampling step size and reduce sensitivity to curvature, we validate a lightweight and easily computable form of preconditioning, inspired by Riemann Manifold Langevin and adaptive optimizers from the SGD literature. We compare against VAEs by training like-for-like generative models using our technique against those trained with standard reparameterisation-trick-based ELBOs. We observe our method out-performs or matches performance across a number of metrics, including sample quality, while converging in a fraction of the number of SGD training iterations.

چکیده به فارسی (ترجمه ماشینی)

ما یک الگوریتم جدید برای یادگیری پارامتر در مدلهای ژنرال ژنرال ژنرال که بر اساس چارچوب برنامه نویسی پیش بینی کننده (PC) از علوم اعصاب محاسباتی ایجاد می شود ، ارائه می دهیم.رویکرد ما الگوریتم استاندارد PC را تغییر می دهد تا عملکرد را به صورت بر روی و بیش از آنچه که از آموزش استاندارد Auto-Auto-Ado-Ado-Auder (VAE) به دست آمده است ، تغییر دهد.با تزریق نویز گاوسی به روش استنباط رایانه شخصی ، ما آن را به عنوان نمونه گیری لنگوین بیش از حد ، که بهینه سازی را با توجه به یک شواهد محکم پایین تر (ELBO) تسهیل می کند ، دوباره درک می کنیم.ما روش آموزش عاری از رمزگذار حاصل را با در نظر گرفتن یک شبکه رمزگذار بهبود می بخشیم تا یک شروع گرم استهلاک شده در نمونه گیری لانژوین ما فراهم شود و سه هدف مختلف را برای این کار آزمایش کنیم.سرانجام ، برای افزایش استحکام به اندازه مرحله نمونه برداری و کاهش حساسیت به انحنای ، ما یک شکل سبک و به راحتی قابل محاسبه از پیش شرط را تأیید می کنیم ، با الهام از مانیفولد ریمان و بهینه سازهای سازگار از ادبیات SGD.ما با آموزش مدلهای تولیدی مانند مانند مانند با استفاده از تکنیک خود در برابر آنهایی که با الب های مبتنی بر ترفند استاندارد آموزش داده شده ، در برابر VAE ها مقایسه می کنیم.ما روش خود را از عملکرد خارج می کنیم یا عملکرد خود را در تعدادی از معیارها از جمله کیفیت نمونه مطابقت می دهیم ، در حالی که در کسری از تعداد تکرارهای آموزش SGD همگرا می شویم.