ترجمه فارسی مقاله بررسی مجدد برش میکرو دسته ای: هرس تطبیقی ​​داده ها از طریق دستکاری گرادیان

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Revisit Micro-batch Clipping: Adaptive Data Pruning via Gradient Manipulation
عنوان مقاله به فارسی بررسی مجدد برش میکرو دسته ای: هرس تطبیقی ​​داده ها از طریق دستکاری گرادیان
نویسندگان Lun Wang
فرمت مقاله انگلیسی PDF
تعداد صفحات 12
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Sound,Audio and Speech Processing,یادگیری ماشین , پردازش صدا , صدا و گفتار ,
توضیحات Submitted 28 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده 28 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Micro-batch clipping, a gradient clipping method, has recently shown potential in enhancing auto-speech recognition (ASR) model performance. However, the underlying mechanism behind this improvement remains mysterious, particularly the observation that only certain micro-batch sizes are beneficial. In this paper, we make the first attempt to explain this phenomenon. Inspired by recent data pruning research, we assume that specific training samples may impede model convergence during certain training phases. Under this assumption, the convergence analysis shows that micro-batch clipping can improve the convergence rate asymptotically at the cost of an additional constant bias that does not diminish with more training iterations. The bias is dependent on a few factors and can be minimized at specific micro-batch size, thereby elucidating the existence of the sweet-spot micro-batch size observed previously. We also verify the effectiveness of micro-batch clipping beyond speech models on vision and language models, and show promising performance gains in these domains. An exploration of potential limitations shows that micro-batch clipping is less effective when training data originates from multiple distinct domains.

چکیده به فارسی (ترجمه ماشینی)

Clipping Micro-Batch ، یک روش قطع شیب ، اخیراً پتانسیل در تقویت عملکرد مدل تشخیص گفتار (ASR) را نشان داده است.با این حال ، مکانیسم اساسی این پیشرفت مرموز باقی مانده است ، به ویژه این مشاهدات که فقط برخی از اندازه های میکرو دسته ای مفید هستند.در این مقاله ، ما اولین تلاش برای توضیح این پدیده را انجام می دهیم.با الهام از تحقیقات هرس داده های اخیر ، فرض می کنیم که نمونه های آموزشی خاص ممکن است مانع همگرایی مدل در مراحل خاص آموزشی شود.براساس این فرض ، تجزیه و تحلیل همگرایی نشان می دهد که قطع میکرو دسته می تواند نرخ همگرایی را به صورت مجانبی با هزینه یک تعصب ثابت اضافی که با تکرارهای بیشتر آموزش کم نمی شود ، بهبود بخشد.این تعصب به چند عامل وابسته است و می تواند در اندازه خاص میکرو دسته ای به حداقل برسد ، در نتیجه وجود اندازه میکرو دسته شیرین شیرین که قبلاً مشاهده شده بود ، روشن می شود.ما همچنین اثربخشی برش میکرو دسته ای فراتر از مدلهای گفتار را بر روی مدل های دید و زبان تأیید می کنیم و به دست آوردن عملکرد امیدوارکننده در این حوزه ها نشان می دهیم.اکتشاف محدودیت های بالقوه نشان می دهد که وقتی آموزش داده ها از چندین حوزه مجزا سرچشمه می گیرد ، قطع میکرو دسته ای کمتر مؤثر است.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.