ترجمه فارسی مقاله بهینه‌سازی مدل‌های کاکس با روش گرادیان نزولی تصادفی: مبانی نظری و راهنمایی‌های عملی

چکیده

Optimizing Cox regression and its neural network variants poses substantial computational challenges in large-scale studies. Stochastic gradient descent (SGD), known for its scalability in model optimization, has recently been adapted to optimize Cox models. Unlike its conventional application, which typically targets a sum of independent individual loss, SGD for Cox models updates parameters based on the partial likelihood of a subset of data. Despite its empirical success, the theoretical foundation for optimizing Cox partial likelihood with SGD is largely underexplored. In this work, we demonstrate that the SGD estimator targets an objective function that is batch-size-dependent. We establish that the SGD estimator for the Cox neural network (Cox-NN) is consistent and achieves the optimal minimax convergence rate up to a polylogarithmic factor. For Cox regression, we further prove the $sqrt{n}$-consistency and asymptotic normality of the SGD estimator, with variance depending on the batch size. Furthermore, we quantify the impact of batch size on Cox-NN training and its effect on the SGD estimator’s asymptotic efficiency in Cox regression. These findings are validated by extensive numerical experiments and provide guidance for selecting batch sizes in SGD applications. Finally, we demonstrate the effectiveness of SGD in a real-world application where GD is unfeasible due to the large scale of data.

چکیده به فارسی (ترجمه ماشینی)

بهینه سازی رگرسیون کاکس و انواع شبکه عصبی آن چالش های محاسباتی قابل توجهی در مطالعات در مقیاس بزرگ ایجاد می کند.نزول شیب تصادفی (SGD) ، که به دلیل مقیاس پذیری آن در بهینه سازی مدل شناخته شده است ، اخیراً برای بهینه سازی مدل های COX سازگار شده است.بر خلاف کاربرد معمولی آن ، که به طور معمول مجموعه ای از از دست دادن مستقل فردی را هدف قرار می دهد ، SGD برای مدل های Cox پارامترهای را بر اساس احتمال جزئی زیر مجموعه داده ها به روز می کند.علیرغم موفقیت تجربی خود ، پایه و اساس نظری برای بهینه سازی احتمال جزئی کاکس با SGD تا حد زیادی نامشخص است.در این کار ، ما نشان می دهیم که برآوردگر SGD یک عملکرد عینی را که وابسته به اندازه دسته ای است ، هدف قرار می دهد.ما ثابت می کنیم که برآوردگر SGD برای شبکه عصبی COX (COX-NN) سازگار است و به میزان همگرایی بهینه بهینه می رسد تا یک عامل پلیوگرامی.برای رگرسیون کاکس ، ما بیشتر sqrt {n} $-قوام و نرمال بودن بدون علامت برآوردگر SGD را با واریانس بسته به اندازه دسته ثابت می کنیم.علاوه بر این ، ما تأثیر اندازه دسته ای را در آموزش COX-NN و تأثیر آن بر بازده بدون علامت برآوردگر SGD در رگرسیون کاکس تعیین می کنیم.این یافته ها با آزمایش های عددی گسترده تأیید می شوند و راهنمایی هایی را برای انتخاب اندازه دسته ای در برنامه های SGD ارائه می دهند.سرانجام ، ما اثربخشی SGD را در یک برنامه در دنیای واقعی نشان می دهیم که در آن GD به دلیل مقیاس بزرگ داده ها غیرممکن است.