مقاله گروه های زیر شبکه

چکیده

Neural network ensembles have been effectively used to improve generalization by combining the predictions of multiple independently trained models. However, the growing scale and complexity of deep neural networks have led to these methods becoming prohibitively expensive and time consuming to implement. Low-cost ensemble methods have become increasingly important as they can alleviate the need to train multiple models from scratch while retaining the generalization benefits that traditional ensemble learning methods afford. This dissertation introduces and formalizes a low-cost framework for constructing Subnetwork Ensembles, where a collection of child networks are formed by sampling, perturbing, and optimizing subnetworks from a trained parent model. We explore several distinct methodologies for generating child networks and we evaluate their efficacy through a variety of ablation studies and established benchmarks. Our findings reveal that this approach can greatly improve training efficiency, parametric utilization, and generalization performance while minimizing computational cost. Subnetwork Ensembles offer a compelling framework for exploring how we can build better systems by leveraging the unrealized potential of deep neural networks.

چکیده به فارسی (ترجمه ماشینی)

از گروههای شبکه عصبی به طور موثری برای بهبود تعمیم با ترکیب پیش بینی های چندین مدل مستقل آموزش دیده استفاده شده است.با این حال ، مقیاس رو به رشد و پیچیدگی شبکه های عصبی عمیق باعث شده است که این روشها گران قیمت و برای اجرای آن باشند.روشهای گروهی کم هزینه به طور فزاینده ای اهمیت پیدا کرده اند زیرا می توانند ضمن حفظ مزایای تعمیم که روشهای یادگیری گروه سنتی از آنها استفاده می کنند ، نیاز به آموزش چندین مدل از ابتدا را کاهش دهند.این پایان نامه یک چارچوب کم هزینه برای ساخت مجموعه های زیر شبکه را معرفی و رسمی می کند ، جایی که مجموعه ای از شبکه های کودک با نمونه گیری ، آشفتگی و بهینه سازی زیر شبکه ها از یک مدل والدین آموزش دیده تشکیل می شود.ما چندین روش متمایز برای تولید شبکه های کودک را کشف می کنیم و اثربخشی آنها را از طریق انواع مطالعات فرسایش و معیارهای ایجاد شده ارزیابی می کنیم.یافته های ما نشان می دهد که این رویکرد می تواند تا حد زیادی بازده آموزش ، استفاده از پارامتری و عملکرد تعمیم را به حداقل برساند و در عین حال هزینه محاسباتی را به حداقل برساند.مجموعه های Subnetwork یک چارچوب قانع کننده برای بررسی چگونگی ساخت سیستم های بهتر با استفاده از پتانسیل غیر واقعی شبکه های عصبی عمیق ارائه می دهند.