مقاله ED-TTS: مدل‌سازی هیجان چند مقیاسی با استفاده از حواشی هیجانی بین دامنه‌ای برای سنتز گفتار عاطفی

چکیده

Existing emotional speech synthesis methods often utilize an utterance-level style embedding extracted from reference audio, neglecting the inherent multi-scale property of speech prosody. We introduce ED-TTS, a multi-scale emotional speech synthesis model that leverages Speech Emotion Diarization (SED) and Speech Emotion Recognition (SER) to model emotions at different levels. Specifically, our proposed approach integrates the utterance-level emotion embedding extracted by SER with fine-grained frame-level emotion embedding obtained from SED. These embeddings are used to condition the reverse process of the denoising diffusion probabilistic model (DDPM). Additionally, we employ cross-domain SED to accurately predict soft labels, addressing the challenge of a scarcity of fine-grained emotion-annotated datasets for supervising emotional TTS training.

چکیده به فارسی (ترجمه ماشینی)

روشهای سنتز گفتار عاطفی موجود غالباً از یک تعبیه سبک در سطح بیان استخراج شده از صوتی مرجع استفاده می کنند و از خاصیت ذاتی چند مقیاس گفتار بی توجه می شوند.ما ED-TTS ، یک مدل سنتز گفتار عاطفی چند مقیاس را معرفی می کنیم که از دیاریسیون احساسات گفتار (SED) و تشخیص احساسات گفتار (SER) استفاده می کند تا احساسات را در سطوح مختلف مدل کند.به طور خاص ، رویکرد پیشنهادی ما ادغام عواطف سطح بیان شده توسط SER را با تعبیه احساسات در سطح فریم ریز دانه به دست آمده از SED ادغام می کند.از این تعبیه ها برای شرط فرایند معکوس مدل احتمالی انتشار denoising (DDPM) استفاده می شود.علاوه بر این ، ما از SED دامنه متقابل برای پیش بینی دقیق برچسب های نرم استفاده می کنیم ، و به چالش کمبود مجموعه داده های ریز و درشت با احساس ریز و درشت برای نظارت بر آموزش های عاطفی TTS پرداختیم.