مقاله تشخیص گفتار بصری چند زبانه با یک مدل واحد با یادگیری با واحدهای گفتار بصری گسسته
| عنوان مقاله به انگلیسی | Multilingual Visual Speech Recognition with a Single Model by Learning with Discrete Visual Speech Units |
| عنوان مقاله به فارسی | تشخیص گفتار بصری چند زبانه با یک مدل واحد با یادگیری با واحدهای گفتار بصری گسسته |
| نویسندگان | Minsu Kim, Jeong Hun Yeo, Jeongsoo Choi, Se Jin Park, Yong Man Ro |
| زبان مقاله | انگلیسی |
| فرمت مقاله: | |
| چکیده | This paper explores sentence-level Multilingual Visual Speech Recognition with a single model for the first time. As the massive multilingual modeling of visual data requires huge computational costs, we propose a novel strategy, processing with visual speech units. Motivated by the recent success of the audio speech unit, the proposed visual speech unit is obtained by discretizing the visual speech features extracted from the self-supervised visual speech model. To correctly capture multilingual visual speech, we first train the self-supervised visual speech model on 5,512 hours of multilingual audio-visual data. Through analysis, we verify that the visual speech units mainly contain viseme information while suppressing non-linguistic information. By using the visual speech units as the inputs of our system, we pre-train the model to predict corresponding text outputs on massive multilingual data constructed by merging several VSR databases. As both the inputs and outputs are discrete, we can greatly improve the training efficiency compared to the standard VSR training. Specifically, the input data size is reduced to 0.016% of the original video inputs. In order to complement the insufficient visual information in speech recognition, we apply curriculum learning where the inputs of the system begin with audio-visual speech units and gradually change to visual speech units. After pre-training, the model is finetuned on continuous features. We set new state-of-the-art multilingual VSR performances by achieving comparable performances to the previous language-specific VSR models, with a single trained model. |
| تعداد صفحات | 12 |
| چکیده به فارسی (ترجمه ماشینی) | در این مقاله به بررسی تشخیص گفتار بصری چند زبانه در سطح جمله با یک مدل واحد برای اولین بار می پردازیم.از آنجا که مدل سازی گسترده چند زبانه داده های بصری به هزینه های محاسباتی عظیم نیاز دارد ، ما یک استراتژی جدید را پیشنهاد می کنیم ، با واحدهای گفتار بصری پردازش می کنیم.با انگیزه موفقیت اخیر واحد گفتار صوتی ، واحد گفتار بصری پیشنهادی با گسسته کردن ویژگی های گفتار بصری استخراج شده از مدل گفتار بصری خودبراگوش بدست می آید.برای به درستی گرفتن گفتار بصری چند زبانه ، ابتدا مدل گفتار بصری خود را در 5،512 ساعت از داده های صوتی و تصویری چند زبانه آموزش می دهیم.از طریق تجزیه و تحلیل ، ما تأیید می کنیم که واحدهای گفتار بصری عمدتاً حاوی اطلاعات ویسم ضمن سرکوب اطلاعات غیر زبانی هستند.با استفاده از واحدهای گفتار بصری به عنوان ورودی های سیستم ما ، ما این مدل را برای پیش بینی خروجی متن مربوطه در مورد داده های عظیم چند زبانه ساخته شده با ادغام چندین بانک اطلاعاتی VSR پیش بینی می کنیم.از آنجا که هر دو ورودی و خروجی گسسته هستند ، ما می توانیم راندمان آموزش را در مقایسه با آموزش استاندارد VSR تا حد زیادی بهبود بخشیم.به طور خاص ، اندازه داده های ورودی به 0.016 ٪ از ورودی های اصلی ویدیویی کاهش می یابد.به منظور تکمیل اطلاعات ناکافی بصری در تشخیص گفتار ، ما از یادگیری برنامه درسی استفاده می کنیم که ورودی های سیستم با واحدهای گفتار صوتی و تصویری شروع می شود و به تدریج در واحدهای گفتار بصری تغییر می کند.پس از پیش از آموزش ، این مدل بر روی ویژگی های مداوم قرار می گیرد.ما با دستیابی به اجراهای قابل مقایسه با مدلهای VSR خاص زبان قبلی ، با یک مدل آموزش دیده ، عملکردهای جدید و چند زبانه VSR را تنظیم کردیم. |
| دسته بندی موضوعات | Audio and Speech Processing,Computer Vision and Pattern Recognition,Sound,پردازش صوتی و گفتار ، دید رایانه و تشخیص الگوی ، صدا ، |
| توضیحات | Submitted 18 January, 2024; originally announced January 2024. |
| توضیحات به فارسی | ارائه شده در 18 ژانویه 2024 ؛در ابتدا ژانویه 2024 اعلام شد. |
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
-
کتاب صدها نکته فارسی (خودمونی) – نسخه PDF — زبان ساده و کاربردی
مشاهده نمونه نسخه نکات ساده -
کتاب صدها نکته رسمی فارسی – نسخه PDF — نگارش استاندارد و علمی
مشاهده نمونه نسخه نکات رسمی -
کتاب صدها پرسش و پاسخ تشریحی – نسخه PDF
— هر سؤال همراه با پاسخ کامل برای درک عمیق مفاهیم
مشاهده نمونه نسخه پرسش و پاسخ -
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع -
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
- این محصول به صورت فایل دانلودی کامل ارائه میشود.
- توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
- دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
- برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
- اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی:
واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248
تلگرام: @ma_limbs
نظرات
هنوز نظری ثبت نشده است.
وارد شوید تا نظر ثبت کنید.