ترجمه فارسی مقاله یادگیری رتبه پایین بیزی (بلا): رویکردی کاربردی به شبکه‌های عصبی بیزی

چکیده

Computational complexity of Bayesian learning is impeding its adoption in practical, large-scale tasks. Despite demonstrations of significant merits such as improved robustness and resilience to unseen or out-of-distribution inputs over their non- Bayesian counterparts, their practical use has faded to near insignificance. In this study, we introduce an innovative framework to mitigate the computational burden of Bayesian neural networks (BNNs). Our approach follows the principle of Bayesian techniques based on deep ensembles, but significantly reduces their cost via multiple low-rank perturbations of parameters arising from a pre-trained neural network. Both vanilla version of ensembles as well as more sophisticated schemes such as Bayesian learning with Stein Variational Gradient Descent (SVGD), previously deemed impractical for large models, can be seamlessly implemented within the proposed framework, called Bayesian Low-Rank LeArning (Bella). In a nutshell, i) Bella achieves a dramatic reduction in the number of trainable parameters required to approximate a Bayesian posterior; and ii) it not only maintains, but in some instances, surpasses the performance of conventional Bayesian learning methods and non-Bayesian baselines. Our results with large-scale tasks such as ImageNet, CAMELYON17, DomainNet, VQA with CLIP, LLaVA demonstrate the effectiveness and versatility of Bella in building highly scalable and practical Bayesian deep models for real-world applications.

چکیده به فارسی (ترجمه ماشینی)

پیچیدگی محاسباتی یادگیری بیزی مانع اتخاذ آن در کارهای عملی و در مقیاس بزرگ می شود.با وجود تظاهرات از شایستگی های قابل توجه مانند بهبود استحکام و مقاومت در برابر ورودی های غیب یا خارج از توزیع نسبت به همتایان غیر بیزی ، استفاده عملی آنها به ناچیز نزدیک شده است.در این مطالعه ، ما یک چارچوب نوآورانه برای کاهش بار محاسباتی شبکه های عصبی بیزی (BNN) معرفی می کنیم.رویکرد ما از اصل تکنیک های بیزی مبتنی بر گروههای عمیق پیروی می کند ، اما هزینه آنها را از طریق آشفتگی های چند درجه پایین پارامترهای ناشی از یک شبکه عصبی از قبل آموزش دیده کاهش می دهد.هر دو نسخه وانیلی از گروه ها و همچنین طرح های پیچیده تر مانند یادگیری بیزی با نزول شیب متنوع استین (SVGD) ، که قبلاً برای مدلهای بزرگ غیر عملی تلقی می شد ، می توانند در یک چارچوب پیشنهادی ، به نام یادگیری کم رده بندی بیزی (BELLA) اجرا شوند.به طور خلاصه ، من) بلا به کاهش چشمگیر در تعداد پارامترهای قابل آموزش مورد نیاز برای تقریب خلفی بیزی دست می یابد.و ب) این نه تنها حفظ می کند ، بلکه در برخی موارد ، از عملکرد روشهای یادگیری بیزی معمولی و خطوط غیر بویایی فراتر می رود.نتایج ما با وظایف در مقیاس بزرگ مانند Imagenet ، Camelyon17 ، Domainnet ، VQA با کلیپ ، Llava اثربخشی و تطبیق پذیری بلا را در ساخت مدلهای عمیق بیزی بسیار مقیاس پذیر و عملی برای کاربردهای دنیای واقعی نشان می دهد.