ترجمه فارسی مقاله تفکیک منبع یادگیری در کدک صوتی عصبی

چکیده

Neural audio codecs have significantly advanced audio compression by efficiently converting continuous audio signals into discrete tokens. These codecs preserve high-quality sound and enable sophisticated sound generation through generative models trained on these tokens. However, existing neural codec models are typically trained on large, undifferentiated audio datasets, neglecting the essential discrepancies between sound domains like speech, music, and environmental sound effects. This oversight complicates data modeling and poses additional challenges to the controllability of sound generation. To tackle these issues, we introduce the Source-Disentangled Neural Audio Codec (SD-Codec), a novel approach that combines audio coding and source separation. By jointly learning audio resynthesis and separation, SD-Codec explicitly assigns audio signals from different domains to distinct codebooks, sets of discrete representations. Experimental results indicate that SD-Codec not only maintains competitive resynthesis quality but also, supported by the separation results, demonstrates successful disentanglement of different sources in the latent space, thereby enhancing interpretability in audio codec and providing potential finer control over the audio generation process.

چکیده به فارسی (ترجمه ماشینی)

کدک های صوتی عصبی با تبدیل کارآمد سیگنال های صوتی مداوم به نشانه های گسسته ، فشرده سازی صوتی قابل توجهی پیشرفته دارند.این کدک ها صدای با کیفیت بالا را حفظ می کنند و تولید صدای پیشرفته را از طریق مدل های تولیدی آموزش داده شده بر روی این نشانه ها امکان پذیر می کنند.با این حال ، مدل های کدک عصبی موجود به طور معمول بر روی مجموعه داده های صوتی بزرگ و تمایز نیافته آموزش می گیرند و از اختلافات اساسی بین حوزه های صوتی مانند گفتار ، موسیقی و جلوه های صوتی محیطی غفلت می کنند.این نظارت مدل سازی داده ها را پیچیده می کند و چالش های دیگری را برای کنترل قابلیت تولید صدا ایجاد می کند.برای مقابله با این موضوعات ، ما کدک صوتی عصبی منبع غرق شده (SD-Codec) را معرفی می کنیم ، یک رویکرد جدید که ترکیب برنامه نویسی صوتی و جداسازی منبع را دارد.SD-Codec با یادگیری مشترک و جداسازی صوتی ، صریحاً سیگنال های صوتی را از حوزه های مختلف به کتابهای کد متمایز ، مجموعه ای از بازنمودهای گسسته اختصاص می دهد.نتایج تجربی نشان می دهد که SD-CODEC نه تنها کیفیت رزینتز رقابتی را حفظ می کند ، بلکه توسط نتایج جدایی نیز پشتیبانی می شود ، نشان دهنده جداسازی موفقیت آمیز منابع مختلف در فضای نهفته است ، از این طریق تفسیر را در کدک صوتی تقویت می کند و کنترل بالقوه تری را بر فرآیند تولید صدا فراهم می کند.