ترجمه فارسی مقاله ریسک و اعتبارسنجی متقابل در رگرسیون ریج با نمونه‌های همبسته

چکیده

Recent years have seen substantial advances in our understanding of high-dimensional ridge regression, but existing theories assume that training examples are independent. By leveraging recent techniques from random matrix theory and free probability, we provide sharp asymptotics for the in- and out-of-sample risks of ridge regression when the data points have arbitrary correlations. We demonstrate that in this setting, the generalized cross validation estimator (GCV) fails to correctly predict the out-of-sample risk. However, in the case where the noise residuals have the same correlations as the data points, one can modify the GCV to yield an efficiently-computable unbiased estimator that concentrates in the high-dimensional limit, which we dub CorrGCV. We further extend our asymptotic analysis to the case where the test point has nontrivial correlations with the training set, a setting often encountered in time series forecasting. Assuming knowledge of the correlation structure of the time series, this again yields an extension of the GCV estimator, and sharply characterizes the degree to which such test points yield an overly optimistic prediction of long-time risk. We validate the predictions of our theory across a variety of high dimensional data.

چکیده به فارسی (ترجمه ماشینی)

سالهای اخیر در درک ما از رگرسیون ریج با ابعاد بالا پیشرفت های قابل توجهی داشته است ، اما نظریه های موجود فرض می کنند که نمونه های آموزش مستقل هستند.با استفاده از تکنیک های اخیر از تئوری ماتریس تصادفی و احتمال آزاد ، ما بدون علامت تیز برای خطرات داخلی و خارج از نمونه از رگرسیون ریج هنگامی که نقاط داده دارای همبستگی دلخواه هستند ، ارائه می دهیم.ما نشان می دهیم که در این تنظیم ، برآوردگر اعتبار سنجی متقاطع (GCV) نتوانسته است به درستی خطرات خارج از نمونه را پیش بینی کند.با این حال ، در موردی که باقیمانده های نویز همبستگی یکسان با نقاط داده دارند ، می توان GCV را اصلاح کرد تا یک برآوردگر بی طرفانه قابل کنترل را که در حد بالایی متمرکز است ، به دست آورد ، که ما Dub CorrgCV را دوبله می کنیم.ما بیشتر تجزیه و تحلیل بدون علامت خود را به این مورد گسترش می دهیم که در آن نقطه آزمون دارای همبستگی غیرقانونی با مجموعه آموزش باشد ، تنظیماتی که اغلب در پیش بینی سری زمانی مشاهده می شود.با فرض دانش از ساختار همبستگی سری زمانی ، این مجدداً گسترش برآوردگر GCV را به همراه دارد و به شدت مشخص می کند که میزان چنین نقاط آزمون پیش بینی بیش از حد خوش بینانه از خطر طولانی مدت را به همراه دارد.ما پیش بینی های نظریه خود را در انواع داده های مختلف ابعادی تأیید می کنیم.