ترجمه فارسی مقاله عدم توصیف شکل بسته برای جریان شیب در شبکه های باریک دو لایه

چکیده

In the field of machine learning, comprehending the intricate training dynamics of neural networks poses a significant challenge. This paper explores the training dynamics of neural networks, particularly whether these dynamics can be expressed in a general closed-form solution. We demonstrate that the dynamics of the gradient flow in two-layer narrow networks is not an integrable system. Integrable systems are characterized by trajectories confined to submanifolds defined by level sets of first integrals (invariants), facilitating predictable and reducible dynamics. In contrast, non-integrable systems exhibit complex behaviors that are difficult to predict. To establish the non-integrability, we employ differential Galois theory, which focuses on the solvability of linear differential equations. We demonstrate that under mild conditions, the identity component of the differential Galois group of the variational equations of the gradient flow is non-solvable. This result confirms the system’s non-integrability and implies that the training dynamics cannot be represented by Liouvillian functions, precluding a closed-form solution for describing these dynamics. Our findings highlight the necessity of employing numerical methods to tackle optimization problems within neural networks. The results contribute to a deeper understanding of neural network training dynamics and their implications for machine learning optimization strategies.

چکیده به فارسی (ترجمه ماشینی)

در زمینه یادگیری ماشین ، درک پویایی آموزش پیچیده شبکه های عصبی یک چالش مهم است.در این مقاله به پویایی آموزش شبکه های عصبی می پردازد ، به ویژه اینکه آیا این پویایی ها می توانند در یک راه حل عمومی بسته بیان شوند.ما نشان می دهیم که پویایی جریان شیب در شبکه های باریک دو لایه یک سیستم یکپارچه نیست.سیستم های یکپارچه توسط مسیرهای محدود به زیر مجموعه های تعریف شده توسط مجموعه های سطح انتگرال اول (متغیر) مشخص می شوند و پویایی قابل پیش بینی و قابل پیش بینی را تسهیل می کنند.در مقابل ، سیستم های غیر یکپارچه رفتارهای پیچیده ای را نشان می دهند که پیش بینی آن دشوار است.برای ایجاد عدم همبستگی ، ما از تئوری گالوئیس دیفرانسیل استفاده می کنیم ، که بر قابلیت حل معادلات دیفرانسیل خطی متمرکز است.ما نشان می دهیم که در شرایط خفیف ، مؤلفه هویت گروه Galois دیفرانسیل از معادلات متغیر جریان شیب غیر قابل حل است.این نتیجه عدم ادغام سیستم را تأیید می کند و دلالت بر این دارد که پویایی آموزش نمی تواند توسط توابع لیوویلیان ارائه شود ، و مانع از یک راه حل بسته برای توصیف این پویایی ها می شود.یافته های ما ضرورت استفاده از روشهای عددی را برای مقابله با مشکلات بهینه سازی در شبکه های عصبی برجسته می کند.نتایج به درک عمیق تر از پویایی آموزش شبکه عصبی و پیامدهای آنها در استراتژی های بهینه سازی یادگیری ماشین کمک می کند.