مقاله تنظیم دقیق آداپتور کارآمد برای زبان های دنباله در پخش جریانی ASR چند زبانه

چکیده

The end-to-end ASR model is often desired in the streaming multilingual scenario since it is easier to deploy and can benefit from pre-trained speech models such as powerful foundation models. Meanwhile, the heterogeneous nature and imbalanced data abundance of different languages may cause performance degradation, leading to asynchronous peak performance for different languages during training, especially on tail ones. Sometimes even the data itself may become unavailable as a result of the enhanced privacy protection. Existing work tend to significantly increase the model size or learn language-specific decoders to accommodate each language separately. In this study, we explore simple yet effective Language-Dependent Adapter (LDA) finetuning under a cascaded Conformer transducer framework enhanced by teacher pseudo-labeling for tail languages in the streaming multilingual ASR. The adapter only accounts for 0.4% of the full model per language. It is plugged into the frozen foundation model and is the only trainable module during the finetuning process with noisy student training. The final model merges the adapter parameters from different checkpoints for different languages. The model performance is validated on a challenging multilingual dictation dataset, which includes 39 tail languages across Latin, Greek, Arabic, etc. Our proposed method brings 12.2% word error rate reduction on average and up to 37.5% on a single locale. Furthermore, we show that our parameter-efficient LDA can match the quality of the full model finetuning, thus greatly alleviating the asynchronous peak performance issue.

چکیده به فارسی (ترجمه ماشینی)

مدل ASR پایان به پایان اغلب در سناریوی چند زبانه جریان مورد نظر است زیرا استقرار آن آسان تر است و می تواند از مدلهای گفتار از پیش آموزش دیده مانند مدلهای بنیادی قدرتمند بهره مند شود.در همین حال ، ماهیت ناهمگن و فراوانی داده های نامتعادل از زبانهای مختلف ممکن است باعث تخریب عملکرد شود و منجر به عملکرد اوج ناهمزمان برای زبانهای مختلف در طول آموزش ، به ویژه در مورد دم شود.گاهی اوقات حتی ممکن است داده ها در نتیجه محافظت از حریم خصوصی افزایش یافته در دسترس نباشند.کار موجود تمایل دارد اندازه مدل را به طور قابل توجهی افزایش دهد یا رمزگشاهای خاص زبان را برای اسکان هر زبان به طور جداگانه یاد بگیرد.در این مطالعه ، ما به بررسی آداپتور ساده و در عین حال مؤثر وابسته به زبان (LDA) در زیر یک چارچوب مبدل سازنده آبشار که توسط معلم شبه برچسب زدن برای زبانهای دم در جریان چند زبانه ASR تقویت شده است ، کشف می کنیم.آداپتور فقط 0.4 ٪ از مدل کامل را در هر زبان تشکیل می دهد.این مدل به مدل بنیاد منجمد وصل شده و تنها ماژول قابل آموزش در طی فرآیند FinetUning با آموزش دانشجویی پر سر و صدا است.مدل نهایی پارامترهای آداپتور را از پاسگاه های مختلف برای زبانهای مختلف ادغام می کند.عملکرد مدل در یک مجموعه داده دیکته چند زبانه چالش برانگیز ، که شامل 39 زبان دم در سراسر لاتین ، یونانی ، عربی و غیره است ، تأیید می شود.علاوه بر این ، ما نشان می دهیم که LDA با کارآمد پارامتر ما می تواند با کیفیت مدل کامل Finetuning مطابقت داشته باشد ، بنابراین مسئله عملکرد اوج ناهمزمان را تا حد زیادی کاهش می دهد.