ترجمه فارسی مقاله پوشش مبتنی بر واحد گسسته برای بهبود جداسازی در تبدیل صدا

چکیده

Voice conversion (VC) aims to modify the speaker’s identity while preserving the linguistic content. Commonly, VC methods use an encoder-decoder architecture, where disentangling the speaker’s identity from linguistic information is crucial. However, the disentanglement approaches used in these methods are limited as the speaker features depend on the phonetic content of the utterance, compromising disentanglement. This dependency is amplified with attention-based methods. To address this, we introduce a novel masking mechanism in the input before speaker encoding, masking certain discrete speech units that correspond highly with phoneme classes. Our work aims to reduce the phonetic dependency of speaker features by restricting access to some phonetic information. Furthermore, since our approach is at the input level, it is applicable to any encoder-decoder based VC framework. Our approach improves disentanglement and conversion performance across multiple VC methods, showing significant effectiveness, particularly in attention-based method, with 44% relative improvement in objective intelligibility.

چکیده به فارسی (ترجمه ماشینی)

تبدیل صدا (VC) با هدف اصلاح هویت گوینده ضمن حفظ محتوای زبانی.معمولاً ، روشهای VC از یک معماری رمزگذار رمزگذار استفاده می کنند ، که در آن جدا کردن هویت گوینده از اطلاعات زبانی بسیار مهم است.با این حال ، رویکردهای متلاشی مورد استفاده در این روشها محدود است زیرا ویژگی های بلندگو به محتوای آوایی گفته ها بستگی دارد و به خطر می اندازد.این وابستگی با روشهای مبتنی بر توجه تقویت می شود.برای پرداختن به این موضوع ، ما یک مکانیسم پوششی جدید در ورودی را قبل از رمزگذاری بلندگو معرفی می کنیم ، و برخی از واحدهای گفتار گسسته را که بسیار با کلاس های واج مطابقت دارد ، پوشانده ایم.کار ما با محدود کردن دسترسی به برخی از اطلاعات آوایی ، وابستگی آوایی از ویژگی های بلندگو را کاهش می دهد.علاوه بر این ، از آنجا که رویکرد ما در سطح ورودی است ، برای هر چارچوب VC مبتنی بر رمزگذار کاربردی کاربرد دارد.رویکرد ما باعث بهبود عملکرد و عملکرد تبدیل در چندین روش VC می شود ، و اثربخشی قابل توجهی ، به ویژه در روش مبتنی بر توجه ، با 44 ٪ بهبود نسبی در درک عینی نشان می دهد.