ترجمه فارسی مقاله تعمیم جاسازی‌شده در دینامیک یادگیری: رویکردی مبتنی بر نظریه انحراف بزرگ مسیر نمونه

چکیده

We consider a typical learning problem of point estimations for modeling of nonlinear functions or dynamical systems in which generalization, i.e., verifying a given learned model, can be embedded as an integral part of the learning process or dynamics. In particular, we consider an empirical risk minimization based learning problem that exploits gradient methods from continuous-time perspective with small random perturbations, which is guided by the training dataset loss. Here, we provide an asymptotic probability estimate in the small noise limit based-on the Freidlin-Wentzell theory of large deviations, when the sample path of the random process corresponding to the randomly perturbed gradient dynamical system hits a certain target set, i.e., a rare event, when the latter is specified by the testing dataset loss landscape. Interestingly, the proposed framework can be viewed as one way of improving generalization and robustness in learning problems that provides new insights leading to optimal point estimates which is guided by training data loss, while, at the same time, the learning dynamics has an access to the testing dataset loss landscape in some form of future achievable or anticipated target goal. Moreover, as a by-product, we establish a connection with optimal control problem, where the target set, i.e., the rare event, is considered as the desired outcome or achievable target goal for a certain optimal control problem, for which we also provide a verification result reinforcing the rationale behind the proposed framework. Finally, we present a computational algorithm that solves the corresponding variational problem leading to an optimal point estimates and, as part of this work, we also present some numerical results for a typical case of nonlinear regression problem.

چکیده به فارسی (ترجمه ماشینی)

ما یک مشکل یادگیری معمولی از برآوردهای نقطه برای مدل سازی توابع غیرخطی یا سیستم های دینامیکی را در نظر می گیریم که در آن تعمیم ، یعنی تأیید یک مدل آموخته شده داده شده ، می تواند به عنوان بخشی جدایی ناپذیر از فرایند یادگیری یا پویایی تعبیه شود.به طور خاص ، ما یک مشکل یادگیری مبتنی بر ریسک تجربی را در نظر می گیریم که از روشهای شیب از دیدگاه مداوم با آشفتگی های تصادفی کوچک استفاده می کند ، که توسط از دست دادن مجموعه داده های آموزش هدایت می شود.در اینجا ، ما یک برآورد احتمال بدون علامت در حد سر و صدای کوچک مبتنی بر نظریه فریدلین ونتزل از انحرافات بزرگ ، هنگامی که مسیر نمونه فرآیند تصادفی مربوط به سیستم دینامیکی شیب تصادفی به طور تصادفی ، به یک مجموعه هدف خاص ، یعنی یک هدف ، ارائه می دهیم.رویداد نادر ، هنگامی که دومی توسط چشم انداز از دست دادن مجموعه داده های آزمایش مشخص شده است.جالب اینجاست که چارچوب پیشنهادی را می توان به عنوان یکی از راه های بهبود تعمیم و استحکام در مشکلات یادگیری مشاهده کرد که بینش های جدیدی را ارائه می دهد که منجر به برآوردهای بهینه می شود که با آموزش از دست دادن داده ها هدایت می شود ، در حالی که ، در عین حال ، دینامیک یادگیری به آن دسترسی داردچشم انداز از دست دادن مجموعه داده های آزمایش به نوعی هدف هدف قابل دستیابی یا پیش بینی شده در آینده.علاوه بر این ، به عنوان یک محصول جانبی ، ما ارتباطی را با مشکل کنترل بهینه برقرار می کنیم ، جایی که مجموعه هدف ، یعنی رویداد نادر ، به عنوان نتیجه مورد نظر یا هدف هدف قابل دستیابی برای یک مشکل کنترل بهینه خاص در نظر گرفته می شود ، که برای آن نیز ارائه می دهیمنتیجه تأیید تقویت دلیل در چارچوب پیشنهادی.سرانجام ، ما یک الگوریتم محاسباتی ارائه می دهیم که مسئله متنوع مربوطه را که منجر به برآورد نقطه بهینه می شود ، حل می کند و به عنوان بخشی از این کار ، ما همچنین نتایج عددی را برای یک مورد معمولی از مشکل رگرسیون غیرخطی ارائه می دهیم.