ترجمه فارسی مقاله درجه دوم تمایز خودکار حالت رو به جلو برای بهینه سازی

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Second-Order Forward-Mode Automatic Differentiation for Optimization
عنوان مقاله به فارسی درجه دوم تمایز خودکار حالت رو به جلو برای بهینه سازی
نویسندگان Adam D. Cobb, Atılım Güneş Baydin, Barak A. Pearlmutter, Susmit Jha
فرمت مقاله انگلیسی PDF
تعداد صفحات 14
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Machine Learning,یادگیری ماشین , یادگیری ماشین ,
توضیحات Submitted 19 August, 2024; originally announced August 2024. , Comments: 14 pages, 8 figures
توضیحات به فارسی ارسال شده در 19 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد ، نظرات: 14 صفحه ، 8 شکل
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

This paper introduces a second-order hyperplane search, a novel optimization step that generalizes a second-order line search from a line to a $k$-dimensional hyperplane. This, combined with the forward-mode stochastic gradient method, yields a second-order optimization algorithm that consists of forward passes only, completely avoiding the storage overhead of backpropagation. Unlike recent work that relies on directional derivatives (or Jacobian--Vector Products, JVPs), we use hyper-dual numbers to jointly evaluate both directional derivatives and their second-order quadratic terms. As a result, we introduce forward-mode weight perturbation with Hessian information (FoMoH). We then use FoMoH to develop a novel generalization of line search by extending it to a hyperplane search. We illustrate the utility of this extension and how it might be used to overcome some of the recent challenges of optimizing machine learning models without backpropagation. Our code is open-sourced at https://github.com/SRI-CSL/fomoh.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک جستجوی هایپرپلن مرتبه دوم ، یک مرحله بهینه سازی جدید که یک جستجوی خط مرتبه دوم را از یک خط به یک هیپرپلن بعدی $ $ $ $ تعمیم می دهد ، معرفی می کند.این ، همراه با روش گرادیان تصادفی حالت رو به جلو ، یک الگوریتم بهینه سازی مرتبه دوم را به همراه دارد که فقط از گذرگاه های رو به جلو تشکیل شده است ، و از ذخیره سازی بالای سرپرستی از پشت سر هم جلوگیری می کند.بر خلاف کار اخیر که به مشتقات جهت دار (یا Jacobian-محصولات وکتور ، JVP) متکی است ، ما از شماره های بیش از حد دوگانه استفاده می کنیم تا هم مشتقات جهت دار و هم شرایط درجه دوم مرتبه دوم آنها را ارزیابی کنیم.در نتیجه ، ما آشفتگی وزن حالت رو به جلو را با اطلاعات Hessian (FOMOH) معرفی می کنیم.ما سپس از FOMOH برای توسعه تعمیم جدید جستجوی خط با گسترش آن به جستجوی هایپرپلن استفاده می کنیم.ما کاربرد این برنامه افزودنی و چگونگی استفاده از آن برای غلبه بر برخی از چالش های اخیر بهینه سازی مدل های یادگیری ماشین را بدون استفاده از پشتیبان نشان می دهیم.کد ما در https://github.com/sri-csl/fomoh باز است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.