ترجمه فارسی مقاله PeriodWave: تطبیق جریان چند دوره ای برای تولید شکل موج با وفاداری بالا

چکیده

Recently, universal waveform generation tasks have been investigated conditioned on various out-of-distribution scenarios. Although GAN-based methods have shown their strength in fast waveform generation, they are vulnerable to train-inference mismatch scenarios such as two-stage text-to-speech. Meanwhile, diffusion-based models have shown their powerful generative performance in other domains; however, they stay out of the limelight due to slow inference speed in waveform generation tasks. Above all, there is no generator architecture that can explicitly disentangle the natural periodic features of high-resolution waveform signals. In this paper, we propose PeriodWave, a novel universal waveform generation model. First, we introduce a period-aware flow matching estimator that can capture the periodic features of the waveform signal when estimating the vector fields. Additionally, we utilize a multi-period estimator that avoids overlaps to capture different periodic features of waveform signals. Although increasing the number of periods can improve the performance significantly, this requires more computational costs. To reduce this issue, we also propose a single period-conditional universal estimator that can feed-forward parallel by period-wise batch inference. Additionally, we utilize discrete wavelet transform to losslessly disentangle the frequency information of waveform signals for high-frequency modeling, and introduce FreeU to reduce the high-frequency noise for waveform generation. The experimental results demonstrated that our model outperforms the previous models both in Mel-spectrogram reconstruction and text-to-speech tasks. All source code will be available at \url{https://github.com/sh-lee-prml/PeriodWave}.

چکیده به فارسی (ترجمه ماشینی)

به تازگی ، وظایف تولید شکل موج جهانی با شرط سناریوهای مختلف خارج از توزیع مورد بررسی قرار گرفته است.اگرچه روشهای مبتنی بر GAN قدرت خود را در تولید سریع موج نشان داده اند ، اما در برابر سناریوهای عدم تطابق قطار مانند متن به گفتار دو مرحله ای آسیب پذیر هستند.در همین حال ، مدل های مبتنی بر انتشار عملکرد مولد قدرتمند خود را در سایر حوزه ها نشان داده اند.با این حال ، آنها به دلیل سرعت استنباط آهسته در کارهای تولید شکل موج ، از کانون توجه خارج می شوند.مهمتر از همه ، هیچ معماری ژنراتور وجود ندارد که بتواند صریحاً ویژگی های دوره ای طبیعی سیگنال های شکل با وضوح بالا را جدا کند.در این مقاله ، ما PruDWAVE ، یک مدل جدید تولید شکل موج جهانی را پیشنهاد می کنیم.اول ، ما یک برآوردگر تطبیق جریان آگاهانه را معرفی می کنیم که می تواند هنگام برآورد زمینه های بردار ، ویژگی های دوره ای سیگنال شکل موج را ضبط کند.علاوه بر این ، ما از یک برآوردگر چند دوره ای استفاده می کنیم که از همپوشانی برای ضبط ویژگی های مختلف دوره ای سیگنال های شکل موج جلوگیری می کند.اگرچه افزایش تعداد دوره ها می تواند عملکرد را به میزان قابل توجهی بهبود بخشد ، اما این نیاز به هزینه های محاسباتی بیشتری دارد.برای کاهش این مسئله ، ما همچنین یک برآوردگر جهانی دوره ای را ارائه می دهیم که می تواند موازی با استنتاج دسته ای از دوره ای باشد.علاوه بر این ، ما از تبدیل موجک گسسته استفاده می کنیم تا اطلاعات فرکانس سیگنال های شکل موج را برای مدل سازی با فرکانس بالا از بین ببرد ، و FreeU را برای کاهش نویز با فرکانس بالا برای تولید شکل موج معرفی می کنیم.نتایج تجربی نشان داد که مدل ما از مدلهای قبلی هم در بازسازی مولفروگرام و هم در کارهای متن به گفتار بهتر عمل می کند.تمام کد منبع در \ url {https://github.com/sh-lee-prml/periodwave} در دسترس خواهد بود.