ترجمه فارسی مقاله ترمیم گفتار با وضوح بالا با مدل انتشار نهان

چکیده

Traditional speech enhancement methods often oversimplify the task of restoration by focusing on a single type of distortion. Generative models that handle multiple distortions frequently struggle with phone reconstruction and high-frequency harmonics, leading to breathing and gasping artifacts that reduce the intelligibility of reconstructed speech. These models are also computationally demanding, and many solutions are restricted to producing outputs in the wide-band frequency range, which limits their suitability for professional applications. To address these challenges, we propose Hi-ResLDM, a novel generative model based on latent diffusion designed to remove multiple distortions and restore speech recordings to studio quality, sampled at 48kHz. We benchmark Hi-ResLDM against state-of-the-art methods that leverage GAN and Conditional Flow Matching (CFM) components, demonstrating superior performance in regenerating high-frequency-band details. Hi-ResLDM not only excels in non-instrusive metrics but is also consistently preferred in human evaluation and performs competitively on intrusive evaluations, making it ideal for high-resolution speech restoration.

چکیده به فارسی (ترجمه ماشینی)

روشهای تقویت گفتار سنتی اغلب با تمرکز بر یک نوع واحد اعوجاج ، وظیفه ترمیم را بیش از حد ساده می کنند.مدل های تولیدی که تحریفات متعدد را تحمل می کنند ، اغلب با بازسازی تلفن و هارمونیک های با فرکانس بالا مبارزه می کنند و منجر به تنفس و گاز گرفتن مصنوعات می شوند که باعث کاهش درک گفتار بازسازی شده می شوند.این مدل ها همچنین از نظر محاسباتی خواستار هستند ، و بسیاری از راه حل ها به تولید خروجی ها در محدوده فرکانس باند گسترده محدود می شوند که این امر مناسب بودن آنها را برای برنامه های حرفه ای محدود می کند.برای پرداختن به این چالش ها ، ما Hi-ResLDM را پیشنهاد می کنیم ، یک مدل تولیدی جدید مبتنی بر انتشار نهفته که برای از بین بردن تحریفات متعدد و بازگرداندن ضبط گفتار به کیفیت استودیو ، نمونه برداری شده در 48kHz.ما HI-RESLDM را در برابر روشهای پیشرفته ای که از اجزای GAN و تطبیق جریان شرطی (CFM) بهره می برد ، محک می کنیم و عملکرد برتر در بازسازی جزئیات باند با فرکانس بالا را نشان می دهیم.HI-RESLDM نه تنها در معیارهای غیرقانونی برتری دارد بلکه در ارزیابی انسان نیز به طور مداوم ترجیح داده می شود و در ارزیابی های مزاحم انجام می شود و آن را برای ترمیم گفتار با وضوح بالا ایده آل می کند.