MAPress
مقاله برآورد شیب کارآمد از طریق نمونه گیری تطبیقی و نمونه گیری اهمیت

مقاله برآورد شیب کارآمد از طریق نمونه گیری تطبیقی و نمونه گیری اهمیت

تگ‌ها: Machine Learning فراگیری ماشین

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Efficient Gradient Estimation via Adaptive Sampling and Importance Sampling
عنوان مقاله به فارسی مقاله برآورد شیب کارآمد از طریق نمونه گیری تطبیقی و نمونه گیری اهمیت
نویسندگان Corentin Salaün, Xingchang Huang, Iliyan Georgiev, Niloy J. Mitra, Gurprit Singh
زبان مقاله انگلیسی
فرمت مقاله: PDF
تعداد صفحات 15
دسته بندی موضوعات Machine Learning,فراگیری ماشین,
توضیحات Submitted 24 November, 2023; originally announced November 2023. , Comments: 15 pages, 10 figures
توضیحات به فارسی ارسال شده 24 نوامبر 2023 ؛در ابتدا نوامبر 2023 اعلام شد ، نظرات: 15 صفحه ، 10 شکل

چکیده

Machine learning problems rely heavily on stochastic gradient descent (SGD) for optimization. The effectiveness of SGD is contingent upon accurately estimating gradients from a mini-batch of data samples. Instead of the commonly used uniform sampling, adaptive or importance sampling reduces noise in gradient estimation by forming mini-batches that prioritize crucial data points. Previous research has suggested that data points should be selected with probabilities proportional to their gradient norm. Nevertheless, existing algorithms have struggled to efficiently integrate importance sampling into machine learning frameworks. In this work, we make two contributions. First, we present an algorithm that can incorporate existing importance functions into our framework. Second, we propose a simplified importance function that relies solely on the loss gradient of the output layer. By leveraging our proposed gradient estimation techniques, we observe improved convergence in classification and regression tasks with minimal computational overhead. We validate the effectiveness of our adaptive and importance-sampling approach on image and point-cloud datasets.

چکیده به فارسی (ترجمه ماشینی)

مشکلات یادگیری ماشین برای بهینه سازی به شدت به نزول شیب تصادفی (SGD) متکی است.اثربخشی SGD مشروط بر تخمین دقیق شیب از یک دسته از نمونه های داده است.به جای نمونه گیری یکنواخت متداول ، نمونه گیری تطبیقی یا اهمیت ، با تشکیل مینی دسته هایی که در اولویت نقاط داده های مهم قرار دارند ، باعث کاهش نویز در تخمین شیب می شود.تحقیقات قبلی نشان داده است که نقاط داده باید با احتمالات متناسب با هنجار شیب آنها انتخاب شوند.با این وجود ، الگوریتم های موجود در تلاش برای ادغام کارآمد نمونه برداری از اهمیت در چارچوب های یادگیری ماشین هستند.در این کار ، ما دو کمک می کنیم.اول ، ما یک الگوریتم ارائه می دهیم که می تواند توابع اهمیت موجود را در چارچوب ما گنجانده باشد.دوم ، ما یک عملکرد اهمیت ساده را پیشنهاد می کنیم که فقط به شیب ضرر لایه خروجی متکی است.با استفاده از تکنیک های تخمین شیب پیشنهادی ما ، همگرایی بهبود یافته در طبقه بندی و کارهای رگرسیون را با حداقل سربار محاسباتی مشاهده می کنیم.ما اثربخشی رویکرد تطبیقی و اهمیت ما را بر روی مجموعه داده های تصویر و چشم و ابر تأیید می کنیم.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.