مقاله مرزهای ریسک SGD شتاب یافته برای رگرسیون خطی بیش از حد پارامتر شده

چکیده

Accelerated stochastic gradient descent (ASGD) is a workhorse in deep learning and often achieves better generalization performance than SGD. However, existing optimization theory can only explain the faster convergence of ASGD, but cannot explain its better generalization. In this paper, we study the generalization of ASGD for overparameterized linear regression, which is possibly the simplest setting of learning with overparameterization. We establish an instance-dependent excess risk bound for ASGD within each eigen-subspace of the data covariance matrix. Our analysis shows that (i) ASGD outperforms SGD in the subspace of small eigenvalues, exhibiting a faster rate of exponential decay for bias error, while in the subspace of large eigenvalues, its bias error decays slower than SGD; and (ii) the variance error of ASGD is always larger than that of SGD. Our result suggests that ASGD can outperform SGD when the difference between the initialization and the true weight vector is mostly confined to the subspace of small eigenvalues. Additionally, when our analysis is specialized to linear regression in the strongly convex setting, it yields a tighter bound for bias error than the best-known result.

چکیده به فارسی (ترجمه ماشینی)

نزول شیب تصادفی شتاب (ASGD) یک اسب بخار در یادگیری عمیق است و اغلب به عملکرد تعمیم بهتر از SGD می رسد.با این حال ، نظریه بهینه سازی موجود فقط می تواند همگرایی سریعتر ASGD را توضیح دهد ، اما نمی تواند تعمیم بهتر آن را توضیح دهد.در این مقاله ، ما تعمیم ASGD را برای رگرسیون خطی بیش از حد پارامتری ، که احتمالاً ساده ترین تنظیم یادگیری با پارامتر سازی است ، مطالعه می کنیم.ما یک ریسک اضافی وابسته به نمونه را برای ASGD در هر فضای خاص از ماتریس کواریانس داده ایجاد می کنیم.تجزیه و تحلیل ما نشان می دهد که (i) ASGD نسبت به SGD در فضای زیر مقادیر کوچک ، عملکردی سریعتر از پوسیدگی نمایی را برای خطای تعصب نشان می دهد ، در حالی که در فضای زیر مقادیر بزرگ ، خطای تعصب آن کندتر از SGD است.و (ب) خطای واریانس ASGD همیشه از SGD بزرگتر است.نتیجه ما نشان می دهد که ASGD می تواند از SGD بهتر عمل کند وقتی که تفاوت بین اولیه سازی و بردار وزن واقعی بیشتر به فضای زیر مقادیر ویژه ای محدود می شود.علاوه بر این ، هنگامی که تجزیه و تحلیل ما برای رگرسیون خطی در تنظیمات قوی محدب تخصص دارد ، نسبت به نتیجه شناخته شده ، خطای محکم تری برای خطای تعصب به دست می آورد.