ترجمه فارسی مقاله تجزیه و تحلیل جایگزین های توجه پیچیدگی خطی با BEST-RQ

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی An Analysis of Linear Complexity Attention Substitutes with BEST-RQ
عنوان مقاله به فارسی تجزیه و تحلیل جایگزین های توجه پیچیدگی خطی با BEST-RQ
نویسندگان Ryan Whetten, Titouan Parcollet, Adel Moumen, Marco Dinarelli, Yannick Estève
فرمت مقاله انگلیسی PDF
تعداد صفحات 9
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Computation and Language,Sound,Audio and Speech Processing,یادگیری ماشین , محاسبات و زبان , صدا , صدا و گفتار ,
توضیحات Submitted 4 September, 2024; originally announced September 2024. , Comments: Accepted in the IEEE Soken Language Technology Workshop 2024
توضیحات به فارسی ارسال شده در 4 سپتامبر 2024 ؛در ابتدا در سپتامبر 2024 اعلام شد. ، نظرات: پذیرفته شده در کارگاه فناوری زبان IEEE Soken 2024
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Self-Supervised Learning (SSL) has proven to be effective in various domains, including speech processing. However, SSL is computationally and memory expensive. This is in part due the quadratic complexity of multi-head self-attention (MHSA). Alternatives for MHSA have been proposed and used in the speech domain, but have yet to be investigated properly in an SSL setting. In this work, we study the effects of replacing MHSA with recent state-of-the-art alternatives that have linear complexity, namely, HyperMixing, Fastformer, SummaryMixing, and Mamba. We evaluate these methods by looking at the speed, the amount of VRAM consumed, and the performance on the SSL MP3S benchmark. Results show that these linear alternatives maintain competitive performance compared to MHSA while, on average, decreasing VRAM consumption by around 20% to 60% and increasing speed from 7% to 65% for input sequences ranging from 20 to 80 seconds.

چکیده به فارسی (ترجمه ماشینی)

یادگیری خود تحت نظارت (SSL) ثابت شده است که در حوزه های مختلف از جمله پردازش گفتار مؤثر است.با این حال ، SSL از نظر محاسباتی و حافظه گران است.این تا حدودی به دلیل پیچیدگی درجه دوم خود توجه چند سر (MHSA) است.گزینه های دیگر برای MHSA در حوزه گفتار پیشنهاد و مورد استفاده قرار گرفته است ، اما هنوز به درستی در یک تنظیم SSL مورد بررسی قرار نگرفته است.در این کار ، ما اثرات جایگزینی MHSA را با گزینه های پیشرفته اخیر که دارای پیچیدگی خطی هستند ، یعنی Hypermixing ، FastFormer ، SummaryMixing و Mamba بررسی می کنیم.ما این روش ها را با نگاه به سرعت ، میزان VRAM مصرفی و عملکرد در معیار SSL MP3S ارزیابی می کنیم.نتایج نشان می دهد که این گزینه های خطی عملکرد رقابتی را در مقایسه با MHSA حفظ می کنند ، در حالی که به طور متوسط ​​، میزان مصرف VRAM را در حدود 20 ٪ به 60 ٪ کاهش می دهد و سرعت از 7 ٪ به 65 ٪ برای توالی های ورودی از 20 تا 80 ثانیه افزایش می یابد.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.