مقاله DurFlex-EVC: تبدیل صدای احساسی با مدت زمان انعطاف پذیر با نسل موازی

چکیده

Emotional voice conversion (EVC) seeks to modify the emotional tone of a speaker’s voice while preserving the original linguistic content and the speaker’s unique vocal characteristics. Recent advancements in EVC have involved the simultaneous modeling of pitch and duration, utilizing the potential of sequence-to-sequence (seq2seq) models. To enhance reliability and efficiency in conversion, this study shifts focus towards parallel speech generation. We introduce Duration-Flexible EVC (DurFlex-EVC), which integrates a style autoencoder and unit aligner. Traditional models, while incorporating self-supervised learning (SSL) representations that contain both linguistic and paralinguistic information, have neglected this dual nature, leading to reduced controllability. Addressing this issue, we implement cross-attention to synchronize these representations with various emotions. Additionally, a style autoencoder is developed for the disentanglement and manipulation of style elements. The efficacy of our approach is validated through both subjective and objective evaluations, establishing its superiority over existing models in the field.

چکیده به فارسی (ترجمه ماشینی)

تبدیل صدای عاطفی (EVC) در تلاش است ضمن حفظ محتوای اصلی زبانی و ویژگی های صوتی منحصر به فرد بلندگو ، لحن عاطفی صدای بلندگو را تغییر دهد.پیشرفت های اخیر در EVC شامل مدل سازی همزمان زمین و مدت زمان با استفاده از پتانسیل مدلهای توالی به توالی (SEQ2SEQ) است.برای افزایش قابلیت اطمینان و کارآیی در تبدیل ، این مطالعه به سمت تولید گفتار موازی متمرکز می شود.ما EVC انعطاف پذیر مدت زمان (Durflex-EVC) را معرفی می کنیم ، که یک Autoencoder سبک و تراز واحد را ادغام می کند.مدلهای سنتی ، ضمن اینکه شامل بازنمایی های یادگیری خودبوشی (SSL) هستند که حاوی اطلاعات زبانی و پارانگیستی هستند ، از این ماهیت دوگانه غفلت کرده اند و منجر به کاهش کنترل می شوند.با پرداختن به این موضوع ، ما برای همگام سازی این بازنمایی ها با احساسات مختلف ، توجه متقابل را اجرا می کنیم.علاوه بر این ، یک autoencoder سبک برای جداسازی و دستکاری عناصر سبک تهیه شده است.اثربخشی رویکرد ما از طریق ارزیابی های ذهنی و عینی تأیید می شود و برتری آن را نسبت به مدلهای موجود در این زمینه ایجاد می کند.