ترجمه فارسی مقاله تضمین های بهینه سازی و تعمیم برای نرمال سازی وزن

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Optimization and Generalization Guarantees for Weight Normalization
عنوان مقاله به فارسی تضمین های بهینه سازی و تعمیم برای نرمال سازی وزن
نویسندگان Pedro Cisneros-Velarde, Zhijie Chen, Sanmi Koyejo, Arindam Banerjee
فرمت مقاله انگلیسی PDF
تعداد صفحات 42
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Artificial Intelligence,Optimization and Control,یادگیری ماشین , هوش مصنوعی , بهینه سازی و کنترل ,
توضیحات Submitted 13 September, 2024; originally announced September 2024.
توضیحات به فارسی ارسال شده 13 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Weight normalization (WeightNorm) is widely used in practice for the training of deep neural networks and modern deep learning libraries have built-in implementations of it. In this paper, we provide the first theoretical characterizations of both optimization and generalization of deep WeightNorm models with smooth activation functions. For optimization, from the form of the Hessian of the loss, we note that a small Hessian of the predictor leads to a tractable analysis. Thus, we bound the spectral norm of the Hessian of WeightNorm networks and show its dependence on the network width and weight normalization terms--the latter being unique to networks without WeightNorm. Then, we use this bound to establish training convergence guarantees under suitable assumptions for gradient decent. For generalization, we use WeightNorm to get a uniform convergence based generalization bound, which is independent from the width and depends sublinearly on the depth. Finally, we present experimental results which illustrate how the normalization terms and other quantities of theoretical interest relate to the training of WeightNorm networks.

چکیده به فارسی (ترجمه ماشینی)

عادی سازی وزن (وزنه وزن) به طور گسترده ای در عمل برای آموزش شبکه های عصبی عمیق مورد استفاده قرار می گیرد و کتابخانه های مدرن یادگیری عمیق ، پیاده سازی های داخلی آن را دارند.در این مقاله ، ما اولین خصوصیات نظری از بهینه سازی و تعمیم مدل های وزنه برداری عمیق با عملکردهای فعال سازی صاف را ارائه می دهیم.برای بهینه سازی ، از شکل هسیان از دست دادن ، توجه داشته باشیم که یک هسی کوچک از پیش بینی کننده منجر به تجزیه و تحلیل قابل ردیابی می شود.بنابراین ، ما هنجار طیفی شبکه های Hessian از شبکه های وزنه برداری را محدود می کنیم و وابستگی آن را به عرض شبکه و اصطلاحات عادی سازی وزن نشان می دهیم-دومی که برای شبکه های بدون وزنه برداری منحصر به فرد است.سپس ، ما از این محدوده برای تعیین ضمانت های همگرایی آموزشی تحت فرضیات مناسب برای شیب مناسب استفاده می کنیم.برای تعمیم ، ما از وزنه برداری استفاده می کنیم تا یک تعمیم مبتنی بر همگرایی یکنواخت داشته باشیم ، که از عرض مستقل است و به عمق زیر خطی بستگی دارد.سرانجام ، ما نتایج تجربی را ارائه می دهیم که نشان می دهد چگونه اصطلاحات عادی سازی و سایر مقادیر مورد علاقه نظری با آموزش شبکه های وزنه برداری ارتباط دارند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.