مقاله مرزهای ریسک SGD شتاب یافته برای رگرسیون خطی بیش از حد پارامتر شده
| عنوان مقاله به انگلیسی | Risk Bounds of Accelerated SGD for Overparameterized Linear Regression |
| عنوان مقاله به فارسی | مقاله مرزهای ریسک SGD شتاب یافته برای رگرسیون خطی بیش از حد پارامتر شده |
| نویسندگان | Xuheng Li, Yihe Deng, Jingfeng Wu, Dongruo Zhou, Quanquan Gu |
| زبان مقاله | انگلیسی |
| فرمت مقاله: | |
| تعداد صفحات | 85 |
| دسته بندی موضوعات | Machine Learning,Optimization and Control,Machine Learning,یادگیری ماشین , بهینه سازی و کنترل , یادگیری ماشین , |
| توضیحات | Submitted 23 November, 2023; originally announced November 2023. , Comments: 85 pages, 5 figures |
| توضیحات به فارسی | ارسال شده 23 نوامبر 2023 ؛در ابتدا نوامبر 2023 اعلام شد ، نظرات: 85 صفحه ، 5 شکل |
چکیده
Accelerated stochastic gradient descent (ASGD) is a workhorse in deep learning and often achieves better generalization performance than SGD. However, existing optimization theory can only explain the faster convergence of ASGD, but cannot explain its better generalization. In this paper, we study the generalization of ASGD for overparameterized linear regression, which is possibly the simplest setting of learning with overparameterization. We establish an instance-dependent excess risk bound for ASGD within each eigen-subspace of the data covariance matrix. Our analysis shows that (i) ASGD outperforms SGD in the subspace of small eigenvalues, exhibiting a faster rate of exponential decay for bias error, while in the subspace of large eigenvalues, its bias error decays slower than SGD; and (ii) the variance error of ASGD is always larger than that of SGD. Our result suggests that ASGD can outperform SGD when the difference between the initialization and the true weight vector is mostly confined to the subspace of small eigenvalues. Additionally, when our analysis is specialized to linear regression in the strongly convex setting, it yields a tighter bound for bias error than the best-known result.
چکیده به فارسی (ترجمه ماشینی)
نزول شیب تصادفی شتاب (ASGD) یک اسب بخار در یادگیری عمیق است و اغلب به عملکرد تعمیم بهتر از SGD می رسد.با این حال ، نظریه بهینه سازی موجود فقط می تواند همگرایی سریعتر ASGD را توضیح دهد ، اما نمی تواند تعمیم بهتر آن را توضیح دهد.در این مقاله ، ما تعمیم ASGD را برای رگرسیون خطی بیش از حد پارامتری ، که احتمالاً ساده ترین تنظیم یادگیری با پارامتر سازی است ، مطالعه می کنیم.ما یک ریسک اضافی وابسته به نمونه را برای ASGD در هر فضای خاص از ماتریس کواریانس داده ایجاد می کنیم.تجزیه و تحلیل ما نشان می دهد که (i) ASGD نسبت به SGD در فضای زیر مقادیر کوچک ، عملکردی سریعتر از پوسیدگی نمایی را برای خطای تعصب نشان می دهد ، در حالی که در فضای زیر مقادیر بزرگ ، خطای تعصب آن کندتر از SGD است.و (ب) خطای واریانس ASGD همیشه از SGD بزرگتر است.نتیجه ما نشان می دهد که ASGD می تواند از SGD بهتر عمل کند وقتی که تفاوت بین اولیه سازی و بردار وزن واقعی بیشتر به فضای زیر مقادیر ویژه ای محدود می شود.علاوه بر این ، هنگامی که تجزیه و تحلیل ما برای رگرسیون خطی در تنظیمات قوی محدب تخصص دارد ، نسبت به نتیجه شناخته شده ، خطای محکم تری برای خطای تعصب به دست می آورد.📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.