ترجمه فارسی مقاله تجزیه مستعار و مستقل از برچسب ریسک: فراتر از مبادله بایاس واریانس

چکیده

A central problem in data science is to use potentially noisy samples of an unknown function to predict function values for unseen inputs. In classical statistics, the predictive error is understood as a trade-off between the bias and the variance that balances model simplicity with its ability to fit complex functions. However, over-parameterized models exhibit counter-intuitive behaviors, such as “double descent” in which models of increasing complexity exhibit decreasing generalization error. We introduce an alternative paradigm called the generalized aliasing decomposition. We explain the asymptotically small error of complex models as a systematic “de-aliasing” that occurs in the over-parameterized regime. In the limit of large models, the contribution due to aliasing vanishes, leaving an expression for the asymptotic total error we call the invertibility failure of very large models on few training points. Because the generalized aliasing decomposition can be explicitly calculated from the relationship between model class and samples without seeing any data labels, it can answer questions related to experimental design and model selection before collecting data or performing experiments. We demonstrate this approach using several examples, including classical regression problems and a cluster expansion model used in materials science.

چکیده به فارسی (ترجمه ماشینی)

یک مشکل اصلی در علم داده استفاده از نمونه های پر سر و صدا از یک تابع ناشناخته برای پیش بینی مقادیر عملکرد برای ورودی های غیب است.در آمار کلاسیک ، خطای پیش بینی به عنوان یک تجارت بین تعصب و واریانس که سادگی مدل را با توانایی آن در متناسب با عملکردهای پیچیده تعادل می بخشد ، درک می شود.با این حال ، مدلهای بیش از حد پارامتری رفتارهای ضد شهودی را نشان می دهند ، مانند “نزول مضاعف” که در آن مدل های افزایش پیچیدگی خطای کاهش عمومی را نشان می دهند.ما یک الگوی جایگزین به نام تجزیه عمومی را معرفی می کنیم.ما خطای نامتقارن کوچک مدل های پیچیده را به عنوان یک “تغییر دهنده” سیستماتیک که در رژیم بیش از حد پارامتری رخ می دهد ، توضیح می دهیم.در حد مدلهای بزرگ ، سهم ناشی از ناپدید شدن ناپدید شدن ، بیان برای خطای کل بدون علامت که ما آن را خرابی غیرقابل برگشت مدل های بسیار بزرگ در چند نقاط آموزشی می نامیم.از آنجا که تجزیه و تحلیل عمارت عمومی می تواند صریحاً از رابطه بین کلاس مدل و نمونه ها بدون دیدن برچسب های داده محاسبه شود ، می تواند قبل از جمع آوری داده ها یا انجام آزمایشات به سؤالات مربوط به طراحی آزمایشی و انتخاب مدل پاسخ دهد.ما این رویکرد را با استفاده از چندین مثال ، از جمله مشکلات رگرسیون کلاسیک و یک مدل انبساط خوشه ای که در علم مواد استفاده می شود ، نشان می دهیم.