ترجمه فارسی مقاله عمومیت ماتریس‌های تصادفی هسته و رگرسیون هسته در رژیم درجه دوم

چکیده

Kernel ridge regression (KRR) is a popular class of machine learning models that has become an important tool for understanding deep learning. Much of the focus has been on studying the proportional asymptotic regime, $n asymp d$, where $n$ is the number of training samples and $d$ is the dimension of the dataset. In this regime, under certain conditions on the data distribution, the kernel random matrix involved in KRR exhibits behavior akin to that of a linear kernel. In this work, we extend the study of kernel regression to the quadratic asymptotic regime, where $n asymp d^2$. In this regime, we demonstrate that a broad class of inner-product kernels exhibit behavior similar to a quadratic kernel. Specifically, we establish an operator norm approximation bound for the difference between the original kernel random matrix and a quadratic kernel random matrix with additional correction terms compared to the Taylor expansion of the kernel functions. The approximation works for general data distributions under a Gaussian-moment-matching assumption with a covariance structure. This new approximation is utilized to obtain a limiting spectral distribution of the original kernel matrix and characterize the precise asymptotic training and generalization errors for KRR in the quadratic regime when $n/d^2$ converges to a non-zero constant. The generalization errors are obtained for both deterministic and random teacher models. Our proof techniques combine moment methods, Wick’s formula, orthogonal polynomials, and resolvent analysis of random matrices with correlated entries.

چکیده به فارسی (ترجمه ماشینی)

Regression Kernel Ridge (KRR) یک کلاس محبوب از مدل های یادگیری ماشین است که به ابزاری مهم برای درک یادگیری عمیق تبدیل شده است.بیشتر تمرکز بر مطالعه رژیم مجانبی متناسب ، $ n asmp d $ است ، جایی که $ n $ تعداد نمونه های آموزش و $ d $ ابعاد مجموعه داده است.در این رژیم ، تحت شرایط خاصی در مورد توزیع داده ها ، ماتریس تصادفی هسته درگیر در KRR رفتار مشابه با یک هسته خطی را نشان می دهد.در این کار ، ما مطالعه رگرسیون هسته را به رژیم بدون علامت درجه دوم ، که در آن $ n asmp d^2 $ است ، گسترش می دهیم.در این رژیم ، ما نشان می دهیم که طبقه گسترده ای از هسته های محصولات داخلی رفتار مشابهی با یک هسته درجه دوم نشان می دهد.به طور خاص ، ما یک تقریب هنجار اپراتور را برای تفاوت بین ماتریس تصادفی هسته اصلی و یک ماتریس تصادفی هسته درجه دوم با اصطلاحات تصحیح اضافی در مقایسه با گسترش تیلور از توابع هسته ایجاد می کنیم.تقریب برای توزیع داده های عمومی تحت یک فرض همبستگی گاوسی-لحظه ای با ساختار کواریانس کار می کند.این تقریب جدید برای به دست آوردن توزیع طیفی محدود از ماتریس هسته اصلی و توصیف خطاهای دقیق و خطاهای عمومی بدون علامت برای KRR در رژیم درجه دوم هنگامی که $ n/d^2 $ به ثابت غیر صفر تبدیل می شود ، استفاده می شود.خطاهای تعمیم برای هر دو مدل معلم تعیین کننده و تصادفی بدست می آید.تکنیک های اثبات ما روشهای لحظه ای ، فرمول ویک ، چند جمله ای متعامد و تجزیه و تحلیل حل کننده ماتریس های تصادفی با ورودی های همبسته را ترکیب می کنند.