مقاله تجزیه و تحلیل همگرایی برای یادگیری شبکه های عصبی خطی عمیق متعامد

چکیده

Enforcing orthonormal or isometric property for the weight matrices has been shown to enhance the training of deep neural networks by mitigating gradient exploding/vanishing and increasing the robustness of the learned networks. However, despite its practical performance, the theoretical analysis of orthonormality in neural networks is still lacking; for example, how orthonormality affects the convergence of the training process. In this letter, we aim to bridge this gap by providing convergence analysis for training orthonormal deep linear neural networks. Specifically, we show that Riemannian gradient descent with an appropriate initialization converges at a linear rate for training orthonormal deep linear neural networks with a class of loss functions. Unlike existing works that enforce orthonormal weight matrices for all the layers, our approach excludes this requirement for one layer, which is crucial to establish the convergence guarantee. Our results shed light on how increasing the number of hidden layers can impact the convergence speed. Experimental results validate our theoretical analysis.

چکیده به فارسی (ترجمه ماشینی)

نشان داده شده است که اجرای خاصیت متعامد یا ایزومتریک برای ماتریس وزن ، با کاهش شیب منفجر/ناپدید شدن و افزایش استحکام شبکه های آموخته ، آموزش شبکه های عصبی عمیق را تقویت می کند.با این حال ، علیرغم عملکرد عملی آن ، تجزیه و تحلیل نظری از ارتون گرایی در شبکه های عصبی هنوز فاقد آن است.به عنوان مثال ، چگونگی تأثیر ارتونومیت بر همگرایی روند آموزش.در این نامه ، هدف ما این است که با ارائه تجزیه و تحلیل همگرایی برای آموزش شبکه های عصبی خطی عمیق متعامد ، این شکاف را برطرف کنیم.به طور خاص ، ما نشان می دهیم که نزول شیب ریمانی با یک اولیه سازی مناسب با سرعت خطی برای آموزش شبکه های عصبی خطی عمیق متعامد با یک کلاس از عملکردهای از دست دادن همگرا می شود.بر خلاف آثار موجود که ماتریس های وزن متعامد را برای همه لایه ها اعمال می کنند ، رویکرد ما این نیاز را برای یک لایه حذف نمی کند ، که برای تعیین ضمانت همگرایی بسیار مهم است.نتایج ما در مورد چگونگی افزایش تعداد لایه های پنهان می تواند بر سرعت همگرایی تأثیر بگذارد.نتایج تجربی تجزیه و تحلیل نظری ما را تأیید می کند.