| عنوان مقاله به انگلیسی | Multilingual Visual Speech Recognition with a Single Model by Learning with Discrete Visual Speech Units |
| عنوان مقاله به فارسی | تشخیص گفتار بصری چند زبانه با یک مدل واحد با یادگیری با واحدهای گفتار بصری گسسته |
| نویسندگان | Minsu Kim, Jeong Hun Yeo, Jeongsoo Choi, Se Jin Park, Yong Man Ro |
| زبان مقاله | انگلیسی |
| فرمت مقاله: | |
| چکیده | This paper explores sentence-level Multilingual Visual Speech Recognition with a single model for the first time. As the massive multilingual modeling of visual data requires huge computational costs, we propose a novel strategy, processing with visual speech units. Motivated by the recent success of the audio speech unit, the proposed visual speech unit is obtained by discretizing the visual speech features extracted from the self-supervised visual speech model. To correctly capture multilingual visual speech, we first train the self-supervised visual speech model on 5,512 hours of multilingual audio-visual data. Through analysis, we verify that the visual speech units mainly contain viseme information while suppressing non-linguistic information. By using the visual speech units as the inputs of our system, we pre-train the model to predict corresponding text outputs on massive multilingual data constructed by merging several VSR databases. As both the inputs and outputs are discrete, we can greatly improve the training efficiency compared to the standard VSR training. Specifically, the input data size is reduced to 0.016% of the original video inputs. In order to complement the insufficient visual information in speech recognition, we apply curriculum learning where the inputs of the system begin with audio-visual speech units and gradually change to visual speech units. After pre-training, the model is finetuned on continuous features. We set new state-of-the-art multilingual VSR performances by achieving comparable performances to the previous language-specific VSR models, with a single trained model. |
| تعداد صفحات | 12 |
| چکیده به فارسی (ترجمه ماشینی) | در این مقاله به بررسی تشخیص گفتار بصری چند زبانه در سطح جمله با یک مدل واحد برای اولین بار می پردازیم.از آنجا که مدل سازی گسترده چند زبانه داده های بصری به هزینه های محاسباتی عظیم نیاز دارد ، ما یک استراتژی جدید را پیشنهاد می کنیم ، با واحدهای گفتار بصری پردازش می کنیم.با انگیزه موفقیت اخیر واحد گفتار صوتی ، واحد گفتار بصری پیشنهادی با گسسته کردن ویژگی های گفتار بصری استخراج شده از مدل گفتار بصری خودبراگوش بدست می آید.برای به درستی گرفتن گفتار بصری چند زبانه ، ابتدا مدل گفتار بصری خود را در 5،512 ساعت از داده های صوتی و تصویری چند زبانه آموزش می دهیم.از طریق تجزیه و تحلیل ، ما تأیید می کنیم که واحدهای گفتار بصری عمدتاً حاوی اطلاعات ویسم ضمن سرکوب اطلاعات غیر زبانی هستند.با استفاده از واحدهای گفتار بصری به عنوان ورودی های سیستم ما ، ما این مدل را برای پیش بینی خروجی متن مربوطه در مورد داده های عظیم چند زبانه ساخته شده با ادغام چندین بانک اطلاعاتی VSR پیش بینی می کنیم.از آنجا که هر دو ورودی و خروجی گسسته هستند ، ما می توانیم راندمان آموزش را در مقایسه با آموزش استاندارد VSR تا حد زیادی بهبود بخشیم.به طور خاص ، اندازه داده های ورودی به 0.016 ٪ از ورودی های اصلی ویدیویی کاهش می یابد.به منظور تکمیل اطلاعات ناکافی بصری در تشخیص گفتار ، ما از یادگیری برنامه درسی استفاده می کنیم که ورودی های سیستم با واحدهای گفتار صوتی و تصویری شروع می شود و به تدریج در واحدهای گفتار بصری تغییر می کند.پس از پیش از آموزش ، این مدل بر روی ویژگی های مداوم قرار می گیرد.ما با دستیابی به اجراهای قابل مقایسه با مدلهای VSR خاص زبان قبلی ، با یک مدل آموزش دیده ، عملکردهای جدید و چند زبانه VSR را تنظیم کردیم. |
| دسته بندی موضوعات | Audio and Speech Processing,Computer Vision and Pattern Recognition,Sound,پردازش صوتی و گفتار ، دید رایانه و تشخیص الگوی ، صدا ، |
| توضیحات | Submitted 18 January, 2024; originally announced January 2024. |
| توضیحات به فارسی | ارائه شده در 18 ژانویه 2024 ؛در ابتدا ژانویه 2024 اعلام شد. |
| توجه کنید این مقاله به زبان انگلیسی است. |
|
برای سفارش ترجمه این مقاله می توانید به یکی از روش های تماس، پیامک، تلگرام و یا واتس اپ با شماره زیر تماس بگیرید:
09395106248 توجه کنید که شرایط ترجمه به صورت زیر است:
|
نقد و بررسیها
هنوز بررسیای ثبت نشده است.