ترجمه فارسی مقاله افزایش اندازه دسته و نرخ یادگیری، نزول گرادیان تصادفی را تسریع می‌کند.

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
عنوان مقاله به فارسی افزایش اندازه دسته و نرخ یادگیری، نزول گرادیان تصادفی را تسریع می‌کند.
نویسندگان Hikaru Umeda, Hideaki Iiduka
فرمت مقاله انگلیسی PDF
تعداد صفحات 23
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Optimization and Control,یادگیری ماشین , بهینه سازی و کنترل ,
توضیحات Submitted 13 September, 2024; originally announced September 2024. , Comments: 23 pages, 5 figures
توضیحات به فارسی ارسال شده 13 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد ، نظرات: 23 صفحه ، 5 شکل
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

The performance of mini-batch stochastic gradient descent (SGD) strongly depends on setting the batch size and learning rate to minimize the empirical loss in training the deep neural network. In this paper, we present theoretical analyses of mini-batch SGD with four schedulers: (i) constant batch size and decaying learning rate scheduler, (ii) increasing batch size and decaying learning rate scheduler, (iii) increasing batch size and increasing learning rate scheduler, and (iv) increasing batch size and warm-up decaying learning rate scheduler. We show that mini-batch SGD using scheduler (i) does not always minimize the expectation of the full gradient norm of the empirical loss, whereas it does using any of schedulers (ii), (iii), and (iv). Furthermore, schedulers (iii) and (iv) accelerate mini-batch SGD. The paper also provides numerical results of supporting analyses showing that using scheduler (iii) or (iv) minimizes the full gradient norm of the empirical loss faster than using scheduler (i) or (ii).

چکیده به فارسی (ترجمه ماشینی)

عملکرد نزول شیب تصادفی مینی دسته ای (SGD) به شدت به تعیین اندازه دسته و میزان یادگیری بستگی دارد تا از دست دادن تجربی در آموزش شبکه عصبی عمیق به حداقل برسد.در این مقاله ، ما تجزیه و تحلیل های نظری از Mini-Batch SGD با چهار برنامه ریزی ارائه می دهیم: (i) اندازه گیری دسته ای ثابت و برنامه ریزی نرخ یادگیری پوسیدگی ، (ب) افزایش اندازه دسته و برنامه ریزی نرخ یادگیری پوسیدگی ، (III) افزایش اندازه دسته ای و افزایش یادگیرینرخ برنامه ریزی ، و (IV) افزایش اندازه دسته و برنامه ریزی نرخ یادگیری پوسیدگی گرم.ما نشان می دهیم که MINI-BATCH SGD با استفاده از برنامه ریزی (i) همیشه انتظار هنجار شیب کامل از دست دادن تجربی را به حداقل نمی رساند ، در حالی که این کار با استفاده از هر یک از برنامه ریزان (ii) ، (iii) و (IV) انجام می شود.علاوه بر این ، برنامه ریزان (III) و (IV) MINI-BATCH SGD را تسریع می کنند.این مقاله همچنین نتایج عددی از تجزیه و تحلیل های پشتیبان را نشان می دهد که استفاده از برنامه ریزی (III) یا (IV) هنجار شیب کامل از دست دادن تجربی را سریعتر از استفاده از برنامه ریزی (I) یا (II) به حداقل می رساند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.