مقاله نمونه گیری تطبیقی برای یادگیری عمیق از طریق نیابتی های ناپارامتریک کارآمد

چکیده

Data sampling is an effective method to improve the training speed of neural networks, with recent results demonstrating that it can even break the neural scaling laws. These results critically rely on high-quality scores to estimate the importance of an input to the network. We observe that there are two dominant strategies: static sampling, where the scores are determined before training, and dynamic sampling, where the scores can depend on the model weights. Static algorithms are computationally inexpensive but less effective than their dynamic counterparts, which can cause end-to-end slowdown due to their need to explicitly compute losses. To address this problem, we propose a novel sampling distribution based on nonparametric kernel regression that learns an effective importance score as the neural network trains. However, nonparametric regression models are too computationally expensive to accelerate end-to-end training. Therefore, we develop an efficient sketch-based approximation to the Nadaraya-Watson estimator. Using recent techniques from high-dimensional statistics and randomized algorithms, we prove that our Nadaraya-Watson sketch approximates the estimator with exponential convergence guarantees. Our sampling algorithm outperforms the baseline in terms of wall-clock time and accuracy on four datasets.

چکیده به فارسی (ترجمه ماشینی)

نمونه برداری از داده ها یک روش مؤثر برای بهبود سرعت آموزش شبکه های عصبی است ، با نتایج اخیر نشان می دهد که حتی می تواند قوانین مقیاس عصبی را بشکند.این نتایج برای برآورد اهمیت ورودی به شبکه ، به نمرات با کیفیت بالا متکی است.ما مشاهده می کنیم که دو استراتژی غالب وجود دارد: نمونه گیری استاتیک ، که در آن نمرات قبل از تمرین تعیین می شود و نمونه گیری پویا ، که در آن نمرات می تواند به وزن مدل بستگی داشته باشد.الگوریتم های استاتیک از نظر محاسباتی ارزان هستند اما نسبت به همتایان پویا خود مؤثر هستند ، که به دلیل نیاز آنها به محاسبه صریح ضرر ، می تواند باعث کاهش سرعت پایان شود.برای پرداختن به این مشکل ، ما یک توزیع نمونه گیری جدید را بر اساس رگرسیون هسته غیر پارامتری پیشنهاد می کنیم که با آموزش شبکه عصبی ، نمره اهمیت مؤثر را می آموزد.با این حال ، مدل های رگرسیون غیر پارامتری برای سرعت بخشیدن به آموزش پایان به پایان ، از نظر محاسباتی بسیار گران هستند.بنابراین ، ما یک تقریب مبتنی بر طرح کارآمد به برآوردگر نادارایا واتسون ایجاد می کنیم.با استفاده از تکنیک های اخیر از آمار با ابعاد بالا و الگوریتم های تصادفی ، ما ثابت می کنیم که طرح Nadaraya-Watson ما برآوردگر را با ضمانت های همگرایی نمایی تقریب می دهد.الگوریتم نمونه گیری ما از نظر زمان و دقت در چهار مجموعه داده ، از پایه اولیه بهتر است.