مقاله یادگیری در نمودارهای فاکتور عمیق با انتشار اعتقاد گاوسی

چکیده

We propose an approach to do learning in Gaussian factor graphs. We treat all relevant quantities (inputs, outputs, parameters, latents) as random variables in a graphical model, and view both training and prediction as inference problems with different observed nodes. Our experiments show that these problems can be efficiently solved with belief propagation (BP), whose updates are inherently local, presenting exciting opportunities for distributed and asynchronous training. Our approach can be scaled to deep networks and provides a natural means to do continual learning: use the BP-estimated parameter marginals of the current task as parameter priors for the next. On a video denoising task we demonstrate the benefit of learnable parameters over a classical factor graph approach and we show encouraging performance of deep factor graphs for continual image classification on MNIST.

چکیده به فارسی (ترجمه ماشینی)

ما یک رویکرد برای انجام یادگیری در نمودارهای فاکتور گاوسی پیشنهاد می کنیم.ما تمام مقادیر مربوطه (ورودی ها ، خروجی ها ، پارامترها ، Latents) را به عنوان متغیرهای تصادفی در یک مدل گرافیکی درمان می کنیم و هر دو آموزش و پیش بینی را به عنوان مشکلات استنباط با گره های مختلف مشاهده می کنیم.آزمایشات ما نشان می دهد که این مشکلات را می توان با انتشار اعتقاد (BP) که به روزرسانی های آن ذاتاً محلی است ، به طور مؤثر حل کرد و فرصت های مهیج را برای آموزش های توزیع شده و ناهمزمان ارائه می دهد.رویکرد ما می تواند به شبکه های عمیق مقیاس داده شود و وسیله ای طبیعی برای انجام یادگیری مداوم فراهم می کند: از حاشیه پارامتر برآورد شده با BP استفاده کنید.در یک کار Denoising Video ، ما فواید پارامترهای یادگیری را نسبت به یک رویکرد نمودار فاکتور کلاسیک نشان می دهیم و عملکرد دلگرم کننده نمودارهای فاکتور عمیق را برای طبقه بندی تصویر مداوم در MNIST نشان می دهیم.