مقاله FreGrad: وکدر صوتی انتشار حساس به فرکانس سبک وزن و سریع

چکیده

The goal of this paper is to generate realistic audio with a lightweight and fast diffusion-based vocoder, named FreGrad. Our framework consists of the following three key components: (1) We employ discrete wavelet transform that decomposes a complicated waveform into sub-band wavelets, which helps FreGrad to operate on a simple and concise feature space, (2) We design a frequency-aware dilated convolution that elevates frequency awareness, resulting in generating speech with accurate frequency information, and (3) We introduce a bag of tricks that boosts the generation quality of the proposed model. In our experiments, FreGrad achieves 3.7 times faster training time and 2.2 times faster inference speed compared to our baseline while reducing the model size by 0.6 times (only 1.78M parameters) without sacrificing the output quality. Audio samples are available at: https://mm.kaist.ac.kr/projects/FreGrad.

چکیده به فارسی (ترجمه ماشینی)

هدف این مقاله تولید صدای واقعی با یک واژگان سبک و سریع مبتنی بر انتشار ، به نام Fregrad است.چارچوب ما از سه مؤلفه اصلی زیر تشکیل شده است: (1) ما از تبدیل موجک گسسته استفاده می کنیم که یک شکل موج پیچیده را به موج های زیر باند تجزیه می کند ، که به Fregrad کمک می کند تا در یک فضای ویژگی ساده و مختصر کار کند ، (2) ما یک فرکانس طراحی می کنیمآگاهانه آگاهانه که باعث افزایش آگاهی فرکانس می شود ، در نتیجه ایجاد گفتار با اطلاعات فرکانس دقیق ایجاد می شود ، و (3) ما یک کیسه از ترفندها را معرفی می کنیم که باعث افزایش کیفیت تولید مدل پیشنهادی می شود.در آزمایشات ما ، Fregrad به 3.7 برابر سریعتر تمرین و 2.2 برابر سرعت استنباط سریعتر در مقایسه با پایه ما می رسد و در عین حال اندازه مدل را 0.6 برابر (فقط پارامترهای 1.78 متر) کاهش می دهد بدون اینکه کیفیت خروجی را انجام دهد.نمونه های صوتی در: https://mm.kaist.ac.kr/projects/fregrad در دسترس هستند.