MAPress
مقاله تجزیه و تحلیل همگرایی برای یادگیری شبکه های عصبی خطی عمیق متعامد

مقاله تجزیه و تحلیل همگرایی برای یادگیری شبکه های عصبی خطی عمیق متعامد

تگ‌ها: Machine Learning Optimization and Control بهینه سازی و کنترل یادگیری ماشین

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Convergence Analysis for Learning Orthonormal Deep Linear Neural Networks
عنوان مقاله به فارسی مقاله تجزیه و تحلیل همگرایی برای یادگیری شبکه های عصبی خطی عمیق متعامد
نویسندگان Zhen Qin, Xuwei Tan, Zhihui Zhu
زبان مقاله انگلیسی
فرمت مقاله: PDF
تعداد صفحات 5
دسته بندی موضوعات Machine Learning,Optimization and Control,یادگیری ماشین , بهینه سازی و کنترل ,
توضیحات Submitted 24 November, 2023; originally announced November 2023.
توضیحات به فارسی ارسال شده 24 نوامبر 2023 ؛در ابتدا نوامبر 2023 اعلام شد.

چکیده

Enforcing orthonormal or isometric property for the weight matrices has been shown to enhance the training of deep neural networks by mitigating gradient exploding/vanishing and increasing the robustness of the learned networks. However, despite its practical performance, the theoretical analysis of orthonormality in neural networks is still lacking; for example, how orthonormality affects the convergence of the training process. In this letter, we aim to bridge this gap by providing convergence analysis for training orthonormal deep linear neural networks. Specifically, we show that Riemannian gradient descent with an appropriate initialization converges at a linear rate for training orthonormal deep linear neural networks with a class of loss functions. Unlike existing works that enforce orthonormal weight matrices for all the layers, our approach excludes this requirement for one layer, which is crucial to establish the convergence guarantee. Our results shed light on how increasing the number of hidden layers can impact the convergence speed. Experimental results validate our theoretical analysis.

چکیده به فارسی (ترجمه ماشینی)

نشان داده شده است که اجرای خاصیت متعامد یا ایزومتریک برای ماتریس وزن ، با کاهش شیب منفجر/ناپدید شدن و افزایش استحکام شبکه های آموخته ، آموزش شبکه های عصبی عمیق را تقویت می کند.با این حال ، علیرغم عملکرد عملی آن ، تجزیه و تحلیل نظری از ارتون گرایی در شبکه های عصبی هنوز فاقد آن است.به عنوان مثال ، چگونگی تأثیر ارتونومیت بر همگرایی روند آموزش.در این نامه ، هدف ما این است که با ارائه تجزیه و تحلیل همگرایی برای آموزش شبکه های عصبی خطی عمیق متعامد ، این شکاف را برطرف کنیم.به طور خاص ، ما نشان می دهیم که نزول شیب ریمانی با یک اولیه سازی مناسب با سرعت خطی برای آموزش شبکه های عصبی خطی عمیق متعامد با یک کلاس از عملکردهای از دست دادن همگرا می شود.بر خلاف آثار موجود که ماتریس های وزن متعامد را برای همه لایه ها اعمال می کنند ، رویکرد ما این نیاز را برای یک لایه حذف نمی کند ، که برای تعیین ضمانت همگرایی بسیار مهم است.نتایج ما در مورد چگونگی افزایش تعداد لایه های پنهان می تواند بر سرعت همگرایی تأثیر بگذارد.نتایج تجربی تجزیه و تحلیل نظری ما را تأیید می کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.