مقاله یادگیری بازنمایی های گفتار گسسته با یادگیری متضاد و بازیابی زمان ثابت

چکیده

Voice conversion refers to transferring speaker identity with well-preserved content. Better disentanglement of speech representations leads to better voice conversion. Recent studies have found that phonetic information from input audio has the potential ability to well represent content. Besides, the speaker-style modeling with pre-trained models making the process more complex. To tackle these issues, we introduce a new method named “CTVC” which utilizes disentangled speech representations with contrastive learning and time-invariant retrieval. Specifically, a similarity-based compression module is used to facilitate a more intimate connection between the frame-level hidden features and linguistic information at phoneme-level. Additionally, a time-invariant retrieval is proposed for timbre extraction based on multiple segmentations and mutual information. Experimental results demonstrate that “CTVC” outperforms previous studies and improves the sound quality and similarity of converted results.

چکیده به فارسی (ترجمه ماشینی)

تبدیل صدا به انتقال هویت بلندگو با محتوای خوب حفظ شده اشاره دارد.جداسازی بهتر بازنمودهای گفتار منجر به تبدیل بهتر صدا می شود.مطالعات اخیر نشان داده است که اطلاعات آوایی از صوتی ورودی از توانایی بالقوه در نشان دادن محتوا برخوردار است.علاوه بر این ، مدل سازی به سبک بلندگو با مدلهای از پیش آموزش شده باعث پیچیده تر این روند می شود.برای مقابله با این مسائل ، ما روشی جدید به نام “CTVC” را معرفی می کنیم که از بازنمایی گفتار جدا شده با یادگیری متضاد و بازیابی متغیر زمان استفاده می کند.به طور خاص ، از یک ماژول فشرده سازی مبتنی بر شباهت برای تسهیل ارتباط صمیمی تر بین ویژگی های پنهان سطح فریم و اطلاعات زبانی در سطح واج استفاده می شود.علاوه بر این ، بازیابی زمان متغیر برای استخراج TIMBRE بر اساس تقسیم بندی های مختلف و اطلاعات متقابل ارائه شده است.نتایج تجربی نشان می دهد که “CTVC” از مطالعات قبلی بهتر عمل می کند و کیفیت صدا و شباهت نتایج تبدیل شده را بهبود می بخشد.