ترجمه فارسی مقاله جراح بهینه مغز تکراری: بهبودی سریع‌تر با استفاده از اطلاعات مرتبه دوم

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی The Iterative Optimal Brain Surgeon: Faster Sparse Recovery by Leveraging Second-Order Information
عنوان مقاله به فارسی جراح بهینه مغز تکراری: بهبودی سریع‌تر با استفاده از اطلاعات مرتبه دوم
نویسندگان Diyuan Wu, Ionut-Vlad Modoranu, Mher Safaryan, Denis Kuznedelev, Dan Alistarh
فرمت مقاله انگلیسی PDF
تعداد صفحات 25
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,یادگیری ماشین ,
توضیحات Submitted 30 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 30 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

The rising footprint of machine learning has led to a focus on imposing \emph{model sparsity} as a means of reducing computational and memory costs. For deep neural networks (DNNs), the state-of-the-art accuracy-vs-sparsity is achieved by heuristics inspired by the classical Optimal Brain Surgeon (OBS) framework~\citep{lecun90brain, hassibi1992second, hassibi1993optimal}, which leverages loss curvature information to make better pruning decisions. Yet, these results still lack a solid theoretical understanding, and it is unclear whether they can be improved by leveraging connections to the wealth of work on sparse recovery algorithms. In this paper, we draw new connections between these two areas and present new sparse recovery algorithms inspired by the OBS framework that comes with theoretical guarantees under reasonable assumptions and have strong practical performance. Specifically, our work starts from the observation that we can leverage curvature information in OBS-like fashion upon the projection step of classic iterative sparse recovery algorithms such as IHT. We show for the first time that this leads both to improved convergence bounds under standard assumptions. Furthermore, we present extensions of this approach to the practical task of obtaining accurate sparse DNNs, and validate it experimentally at scale for Transformer-based models on vision and language tasks.

چکیده به فارسی (ترجمه ماشینی)

افزایش ردپای یادگیری ماشین منجر به تمرکز بر تحمیل \ itm {مدل پراکندگی} به عنوان ابزاری برای کاهش هزینه های محاسباتی و حافظه می شود.برای شبکه های عصبی عمیق (DNNS) ، پیشرفته ترین دقت-VS-SParsity توسط اکتشافی با الهام از جراح کلاسیک بهینه مغز (OBS) چارچوب ~ \ citep {lecun90brain ، hassibi1992second ، hassibi19933ptimal} ، که از دست دادن لپ است.اطلاعات انحنای برای تصمیم گیری بهتر هرس.با این حال ، این نتایج هنوز فاقد یک درک نظری محکم است ، و مشخص نیست که آیا می توان آنها را با استفاده از ارتباطات با ثروت کار در الگوریتم های بازیابی پراکنده بهبود بخشید.در این مقاله ، ما ارتباطات جدیدی بین این دو حوزه ترسیم می کنیم و الگوریتم های بازیابی پراکنده جدید را با الهام از چارچوب OBS که با ضمانت های نظری تحت فرضیات معقول همراه است ، ارائه می دهیم و عملکرد عملی قوی دارند.به طور خاص ، کار ما از این مشاهدات شروع می شود که ما می توانیم از مرحله پیش بینی الگوریتم های بازیابی پراکنده کلاسیک مانند IHT ، اطلاعات انحنا را به صورت OBS مانند استفاده کنیم.ما برای اولین بار نشان می دهیم که این امر هر دو را به مرزهای همگرایی بهبود یافته تحت فرضیات استاندارد سوق می دهد.علاوه بر این ، ما پسوندهای این رویکرد را به وظیفه عملی به دست آوردن DNN های دقیق پراکنده ارائه می دهیم و آن را به صورت تجربی در مقیاس برای مدلهای مبتنی بر ترانسفورماتور بر روی وظایف دید و زبانی تأیید می کنیم.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.