| عنوان مقاله به انگلیسی | FreGrad: Lightweight and Fast Frequency-aware Diffusion Vocoder |
| عنوان مقاله به فارسی | FreGrad: وکدر صوتی انتشار حساس به فرکانس سبک وزن و سریع |
| نویسندگان | Tan Dat Nguyen, Ji-Hoon Kim, Youngjoon Jang, Jaehun Kim, Joon Son Chung |
| زبان مقاله | انگلیسی |
| فرمت مقاله: | |
| چکیده | The goal of this paper is to generate realistic audio with a lightweight and fast diffusion-based vocoder, named FreGrad. Our framework consists of the following three key components: (1) We employ discrete wavelet transform that decomposes a complicated waveform into sub-band wavelets, which helps FreGrad to operate on a simple and concise feature space, (2) We design a frequency-aware dilated convolution that elevates frequency awareness, resulting in generating speech with accurate frequency information, and (3) We introduce a bag of tricks that boosts the generation quality of the proposed model. In our experiments, FreGrad achieves 3.7 times faster training time and 2.2 times faster inference speed compared to our baseline while reducing the model size by 0.6 times (only 1.78M parameters) without sacrificing the output quality. Audio samples are available at: https://mm.kaist.ac.kr/projects/FreGrad. |
| تعداد صفحات | 5 |
| چکیده به فارسی (ترجمه ماشینی) | هدف این مقاله تولید صدای واقعی با یک واژگان سبک و سریع مبتنی بر انتشار ، به نام Fregrad است.چارچوب ما از سه مؤلفه اصلی زیر تشکیل شده است: (1) ما از تبدیل موجک گسسته استفاده می کنیم که یک شکل موج پیچیده را به موج های زیر باند تجزیه می کند ، که به Fregrad کمک می کند تا در یک فضای ویژگی ساده و مختصر کار کند ، (2) ما یک فرکانس طراحی می کنیمآگاهانه آگاهانه که باعث افزایش آگاهی فرکانس می شود ، در نتیجه ایجاد گفتار با اطلاعات فرکانس دقیق ایجاد می شود ، و (3) ما یک کیسه از ترفندها را معرفی می کنیم که باعث افزایش کیفیت تولید مدل پیشنهادی می شود.در آزمایشات ما ، Fregrad به 3.7 برابر سریعتر تمرین و 2.2 برابر سرعت استنباط سریعتر در مقایسه با پایه ما می رسد و در عین حال اندازه مدل را 0.6 برابر (فقط پارامترهای 1.78 متر) کاهش می دهد بدون اینکه کیفیت خروجی را انجام دهد.نمونه های صوتی در: https://mm.kaist.ac.kr/projects/fregrad در دسترس هستند. |
| دسته بندی موضوعات | Audio and Speech Processing,Artificial Intelligence,Signal Processing,پردازش صوتی و گفتار ، هوش مصنوعی ، پردازش سیگنال ، |
| توضیحات | Submitted 18 January, 2024; originally announced January 2024. , Comments: Accepted to ICASSP 2024 |
| توضیحات به فارسی | ارائه شده در 18 ژانویه 2024 ؛در ابتدا ژانویه 2024 اعلام شد ، نظرات: پذیرفته شده برای ICASSP 2024 |
| توجه کنید این مقاله به زبان انگلیسی است. |
|
برای سفارش ترجمه این مقاله می توانید به یکی از روش های تماس، پیامک، تلگرام و یا واتس اپ با شماره زیر تماس بگیرید:
09395106248 توجه کنید که شرایط ترجمه به صورت زیر است:
|