مقاله پایداری و مدیریت L2 در میانگین گیری مدل

چکیده

Model averaging has received much attention in the past two decades, which integrates available information by averaging over potential models. Although various model averaging methods have been developed, there are few literatures on the theoretical properties of model averaging from the perspective of stability, and the majority of these methods constrain model weights to a simplex. The aim of this paper is to introduce stability from statistical learning theory into model averaging. Thus, we define the stability, asymptotic empirical risk minimizer, generalization, and consistency of model averaging and study the relationship among them. Our results indicate that stability can ensure that model averaging has good generalization performance and consistency under reasonable conditions, where consistency means model averaging estimator can asymptotically minimize the mean squared prediction error. We also propose a L2-penalty model averaging method without limiting model weights and prove that it has stability and consistency. In order to reduce the impact of tuning parameter selection, we use 10-fold cross-validation to select a candidate set of tuning parameters and perform a weighted average of the estimators of model weights based on estimation errors. The Monte Carlo simulation and an illustrative application demonstrate the usefulness of the proposed method.

چکیده به فارسی (ترجمه ماشینی)

میانگین مدل در دو دهه گذشته مورد توجه بسیاری قرار گرفته است ، که با میانگین مدلهای بالقوه ، اطلاعات موجود را ادغام می کند.اگرچه روشهای مختلف متوسط مدل توسعه یافته است ، اما در مورد خصوصیات نظری مدل به طور متوسط از منظر ثبات ، و اکثر این روشها وزن مدل را به یک سیمپلکس محدود می کند.هدف از این مقاله ، معرفی ثبات از تئوری یادگیری آماری به میانگین مدل است.بنابراین ، ما ثبات ، مینیم کننده خطر تجربی بدون علامت ، تعمیم و قوام میانگین مدل را تعریف می کنیم و رابطه بین آنها را مطالعه می کنیم.نتایج ما نشان می دهد که ثبات می تواند اطمینان حاصل کند که میانگین مدل دارای عملکرد و ثبات خوب در شرایط معقول است ، جایی که قوام به معنای برآوردگر میانگین مدل می تواند به صورت مجانبی خطای پیش بینی مربع را به حداقل برساند.ما همچنین یک روش میانگین مدل L2-Penalty را بدون محدود کردن وزن مدل پیشنهاد می کنیم و ثابت می کنیم که از ثبات و ثبات برخوردار است.به منظور کاهش تأثیر انتخاب پارامتر تنظیم ، ما از اعتبار سنجی متقاطع 10 برابر برای انتخاب یک مجموعه نامزد پارامترهای تنظیم و انجام میانگین وزنی برآوردگرهای وزن مدل بر اساس خطاهای تخمین استفاده می کنیم.شبیه سازی مونت کارلو و یک برنامه مصور ، سودمندی روش پیشنهادی را نشان می دهد.