مقاله نمونه گیری تطبیقی برای یادگیری عمیق از طریق نیابتی های ناپارامتریک کارآمد
| عنوان مقاله به انگلیسی | Adaptive Sampling for Deep Learning via Efficient Nonparametric Proxies |
| عنوان مقاله به فارسی | مقاله نمونه گیری تطبیقی برای یادگیری عمیق از طریق پروکسی های غیر پارامتری کارآمد |
| نویسندگان | Shabnam Daghaghi, Benjamin Coleman, Benito Geordie, Anshumali Shrivastava |
| زبان مقاله | انگلیسی |
| فرمت مقاله: | |
| تعداد صفحات | 0 |
| دسته بندی موضوعات | Machine Learning,فراگیری ماشین, |
| توضیحات | Submitted 22 November, 2023; originally announced November 2023. |
| توضیحات به فارسی | ارسال شده 22 نوامبر 2023 ؛در ابتدا نوامبر 2023 اعلام شد. |
چکیده
Data sampling is an effective method to improve the training speed of neural networks, with recent results demonstrating that it can even break the neural scaling laws. These results critically rely on high-quality scores to estimate the importance of an input to the network. We observe that there are two dominant strategies: static sampling, where the scores are determined before training, and dynamic sampling, where the scores can depend on the model weights. Static algorithms are computationally inexpensive but less effective than their dynamic counterparts, which can cause end-to-end slowdown due to their need to explicitly compute losses. To address this problem, we propose a novel sampling distribution based on nonparametric kernel regression that learns an effective importance score as the neural network trains. However, nonparametric regression models are too computationally expensive to accelerate end-to-end training. Therefore, we develop an efficient sketch-based approximation to the Nadaraya-Watson estimator. Using recent techniques from high-dimensional statistics and randomized algorithms, we prove that our Nadaraya-Watson sketch approximates the estimator with exponential convergence guarantees. Our sampling algorithm outperforms the baseline in terms of wall-clock time and accuracy on four datasets.
چکیده به فارسی (ترجمه ماشینی)
نمونه برداری از داده ها یک روش مؤثر برای بهبود سرعت آموزش شبکه های عصبی است ، با نتایج اخیر نشان می دهد که حتی می تواند قوانین مقیاس عصبی را بشکند.این نتایج برای برآورد اهمیت ورودی به شبکه ، به نمرات با کیفیت بالا متکی است.ما مشاهده می کنیم که دو استراتژی غالب وجود دارد: نمونه گیری استاتیک ، که در آن نمرات قبل از تمرین تعیین می شود و نمونه گیری پویا ، که در آن نمرات می تواند به وزن مدل بستگی داشته باشد.الگوریتم های استاتیک از نظر محاسباتی ارزان هستند اما نسبت به همتایان پویا خود مؤثر هستند ، که به دلیل نیاز آنها به محاسبه صریح ضرر ، می تواند باعث کاهش سرعت پایان شود.برای پرداختن به این مشکل ، ما یک توزیع نمونه گیری جدید را بر اساس رگرسیون هسته غیر پارامتری پیشنهاد می کنیم که با آموزش شبکه عصبی ، نمره اهمیت مؤثر را می آموزد.با این حال ، مدل های رگرسیون غیر پارامتری برای سرعت بخشیدن به آموزش پایان به پایان ، از نظر محاسباتی بسیار گران هستند.بنابراین ، ما یک تقریب مبتنی بر طرح کارآمد به برآوردگر نادارایا واتسون ایجاد می کنیم.با استفاده از تکنیک های اخیر از آمار با ابعاد بالا و الگوریتم های تصادفی ، ما ثابت می کنیم که طرح Nadaraya-Watson ما برآوردگر را با ضمانت های همگرایی نمایی تقریب می دهد.الگوریتم نمونه گیری ما از نظر زمان و دقت در چهار مجموعه داده ، از پایه اولیه بهتر است.📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.