ترجمه فارسی مقاله شبکه‌های نویز زدایی نشده استنتاج بیزی بهینه را می‌آموزند

چکیده

Much of Bayesian inference centers around the design of estimators for inverse problems which are optimal assuming the data comes from a known prior. But what do these optimality guarantees mean if the prior is unknown? In recent years, algorithm unrolling has emerged as deep learning’s answer to this age-old question: design a neural network whose layers can in principle simulate iterations of inference algorithms and train on data generated by the unknown prior. Despite its empirical success, however, it has remained unclear whether this method can provably recover the performance of its optimal, prior-aware counterparts. In this work, we prove the first rigorous learning guarantees for neural networks based on unrolling approximate message passing (AMP). For compressed sensing, we prove that when trained on data drawn from a product prior, the layers of the network approximately converge to the same denoisers used in Bayes AMP. We also provide extensive numerical experiments for compressed sensing and rank-one matrix estimation demonstrating the advantages of our unrolled architecture – in addition to being able to obliviously adapt to general priors, it exhibits improvements over Bayes AMP in more general settings of low dimensions, non-Gaussian designs, and non-product priors.

چکیده به فارسی (ترجمه ماشینی)

بخش اعظم استنتاج بیزی در اطراف طراحی برآوردگرها برای مشکلات معکوس که به فرض داده ها بهینه هستند ، از قبل شناخته شده است.اما اگر این موارد قبلی ناشناخته باشد ، این ضمانت های بهینه چیست؟در سالهای اخیر ، الگوریتم بدون استفاده به عنوان پاسخ عمیق یادگیری به این سؤال قدیمی ظاهر شده است: یک شبکه عصبی را طراحی کنید که لایه های آن در اصل می تواند تکرارهای الگوریتم های استنتاج را شبیه سازی کند و در مورد داده های تولید شده توسط ناشناخته های قبلی آموزش دهد.با این حال ، با وجود موفقیت تجربی خود ، هنوز مشخص نیست که آیا این روش می تواند عملکرد همتایان بهینه و آگاهی قبلی خود را بازیابی کند.در این کار ، ما اولین ضمانت های یادگیری دقیق برای شبکه های عصبی را بر اساس عدم ارسال پیام تقریبی (AMP) اثبات می کنیم.برای سنجش فشرده شده ، ما ثابت می کنیم که وقتی روی داده های تهیه شده از یک محصول قبلی آموزش داده می شود ، لایه های شبکه تقریباً به همان دنویزرهای مورد استفاده در Bayes AMP همگرا می شوند.ما همچنین آزمایش های عددی گسترده ای را برای سنجش فشرده شده و برآورد ماتریس رتبه یک نشان می دهیم که مزایای معماری بدون کنترل ما را نشان می دهد – علاوه بر اینکه قادر به سازگاری فراموشی با مقدمات عمومی است ، در تنظیمات عمومی تر از ابعاد کم ، غیر از آمپ های بیز به نمایش می گذارد.طرح های Gaussian ، و Preors غیر محصول.