مقاله برآورد شیب کارآمد از طریق نمونه گیری تطبیقی و نمونه گیری اهمیت

چکیده

Machine learning problems rely heavily on stochastic gradient descent (SGD) for optimization. The effectiveness of SGD is contingent upon accurately estimating gradients from a mini-batch of data samples. Instead of the commonly used uniform sampling, adaptive or importance sampling reduces noise in gradient estimation by forming mini-batches that prioritize crucial data points. Previous research has suggested that data points should be selected with probabilities proportional to their gradient norm. Nevertheless, existing algorithms have struggled to efficiently integrate importance sampling into machine learning frameworks. In this work, we make two contributions. First, we present an algorithm that can incorporate existing importance functions into our framework. Second, we propose a simplified importance function that relies solely on the loss gradient of the output layer. By leveraging our proposed gradient estimation techniques, we observe improved convergence in classification and regression tasks with minimal computational overhead. We validate the effectiveness of our adaptive and importance-sampling approach on image and point-cloud datasets.

چکیده به فارسی (ترجمه ماشینی)

مشکلات یادگیری ماشین برای بهینه سازی به شدت به نزول شیب تصادفی (SGD) متکی است.اثربخشی SGD مشروط بر تخمین دقیق شیب از یک دسته از نمونه های داده است.به جای نمونه گیری یکنواخت متداول ، نمونه گیری تطبیقی یا اهمیت ، با تشکیل مینی دسته هایی که در اولویت نقاط داده های مهم قرار دارند ، باعث کاهش نویز در تخمین شیب می شود.تحقیقات قبلی نشان داده است که نقاط داده باید با احتمالات متناسب با هنجار شیب آنها انتخاب شوند.با این وجود ، الگوریتم های موجود در تلاش برای ادغام کارآمد نمونه برداری از اهمیت در چارچوب های یادگیری ماشین هستند.در این کار ، ما دو کمک می کنیم.اول ، ما یک الگوریتم ارائه می دهیم که می تواند توابع اهمیت موجود را در چارچوب ما گنجانده باشد.دوم ، ما یک عملکرد اهمیت ساده را پیشنهاد می کنیم که فقط به شیب ضرر لایه خروجی متکی است.با استفاده از تکنیک های تخمین شیب پیشنهادی ما ، همگرایی بهبود یافته در طبقه بندی و کارهای رگرسیون را با حداقل سربار محاسباتی مشاهده می کنیم.ما اثربخشی رویکرد تطبیقی و اهمیت ما را بر روی مجموعه داده های تصویر و چشم و ابر تأیید می کنیم.