ترجمه فارسی مقاله PRESENT: کنترل متن صفر-شات

چکیده

Current strategies for achieving fine-grained prosody control in speech synthesis entail extracting additional style embeddings or adopting more complex architectures. To enable zero-shot application of pretrained text-to-speech (TTS) models, we present PRESENT (PRosody Editing without Style Embeddings or New Training), which exploits explicit prosody prediction in FastSpeech2-based models by modifying the inference process directly. We apply our text-to-prosody framework to zero-shot language transfer using a JETS model exclusively trained on English LJSpeech data. We obtain character error rates (CER) of 12.8%, 18.7% and 5.9% for German, Hungarian and Spanish respectively, beating the previous state-of-the-art CER by over 2x for all three languages. Furthermore, we allow subphoneme-level control, a first in this field. To evaluate its effectiveness, we show that PRESENT can improve the prosody of questions, and use it to generate Mandarin, a tonal language where vowel pitch varies at subphoneme level. We attain 25.3% hanzi CER and 13.0% pinyin CER with the JETS model. All our code and audio samples are available online.

چکیده به فارسی (ترجمه ماشینی)

استراتژی های فعلی برای دستیابی به کنترل دقیق و ریز در سنتز گفتار مستلزم استخراج تعبیه های سبک اضافی یا اتخاذ معماری های پیچیده تر است.برای فعال کردن کاربرد صفر از مدل های متن به گفتار متن به گفتار (TTS) ، ما در حال حاضر (ویرایش prosody بدون تعبیه سبک یا آموزش های جدید) ، که از پیش بینی صریح در مدل های مبتنی بر FastSpeech2 با اصلاح مستقیم فرآیند استنتاج سوء استفاده می کند.ما چارچوب متن به اثر خود را در انتقال زبان صفر با استفاده از یک مدل جت که به طور انحصاری در داده های LJSpeech انگلیسی آموزش داده شده است ، اعمال می کنیم.ما نرخ خطای کاراکتر (CER) 12.8 ٪ ، 18.7 ٪ و 5.9 ٪ را برای آلمانی ، مجارستانی و اسپانیایی به دست می آوریم و CER قبلی را بیش از 2 برابر برای هر سه زبان ضرب و شتم می کنیم.علاوه بر این ، ما به کنترل سطح زیربنام اجازه می دهیم ، اولین بار در این زمینه.برای ارزیابی اثربخشی آن ، ما نشان می دهیم که حال می تواند روال سؤالات را بهبود بخشد و از آن برای تولید ماندارین استفاده کند ، یک زبان تنشی که در آن زمین واکه در سطح زیرزمینی متفاوت است.ما 25.3 ٪ Hanzi CER و 13.0 ٪ Pinyin CER را با مدل جت بدست می آوریم.تمام کد و نمونه های صوتی ما بصورت آنلاین در دسترس هستند.