ترجمه فارسی مقاله کدگذاری پیش‌بین تقسیم و حل: یک الگوریتم استنتاج بیزی ساختاریافته

چکیده

Unexpected stimuli induce “error” or “surprise” signals in the brain. The theory of predictive coding promises to explain these observations in terms of Bayesian inference by suggesting that the cortex implements variational inference in a probabilistic graphical model. However, when applied to machine learning tasks, this family of algorithms has yet to perform on par with other variational approaches in high-dimensional, structured inference problems. To address this, we introduce a novel predictive coding algorithm for structured generative models, that we call divide-and-conquer predictive coding (DCPC). DCPC differs from other formulations of predictive coding, as it respects the correlation structure of the generative model and provably performs maximum-likelihood updates of model parameters, all without sacrificing biological plausibility. Empirically, DCPC achieves better numerical performance than competing algorithms and provides accurate inference in a number of problems not previously addressed with predictive coding. We provide an open implementation of DCPC in Pyro on Github.

چکیده به فارسی (ترجمه ماشینی)

محرکهای غیر منتظره سیگنال های “خطا” یا “غافلگیرکننده” را در مغز القا می کنند.تئوری برنامه نویسی پیش بینی نوید می دهد این مشاهدات را از نظر استنباط بیزی توضیح دهد با این نشان می دهد که قشر استنتاج متغیر را در یک مدل گرافیکی احتمالی پیاده سازی می کند.با این حال ، هنگامی که در کارهای یادگیری ماشین اعمال می شود ، این خانواده از الگوریتم ها هنوز با سایر رویکردهای متنوع در مشکلات استنباط ساختاری بالا و ساختار یافته هنوز هم به طور متغیرها انجام نشده است.برای پرداختن به این موضوع ، ما یک الگوریتم برنامه نویسی پیش بینی کننده جدید را برای مدلهای تولیدی ساختار یافته معرفی می کنیم ، که ما آن را برنامه نویسی پیش بینی کننده تقسیم و متناوب (DCPC) می نامیم.DCPC با سایر فرمولاسیون های برنامه نویسی پیش بینی متفاوت است ، زیرا به ساختار همبستگی مدل تولیدی احترام می گذارد و به طور واقعی به روزرسانی های حداکثر احتمال پارامترهای مدل را انجام می دهد ، همه بدون قربانی پذیری بیولوژیکی.از نظر تجربی ، DCPC عملکرد عددی بهتری نسبت به الگوریتم های رقیب به دست می آورد و استنتاج دقیقی را در تعدادی از مشکلاتی که قبلاً با برنامه نویسی پیش بینی نشده بود ، فراهم می کند.ما یک اجرای باز از DCPC در Pyro در GitHub ارائه می دهیم.