ترجمه فارسی مقاله ترکیب کنترل صدا و انتقال سبک با استفاده از انتشار پنهان

چکیده

Deep generative models are now able to synthesize high-quality audio signals, shifting the critical aspect in their development from audio quality to control capabilities. Although text-to-music generation is getting largely adopted by the general public, explicit control and example-based style transfer are more adequate modalities to capture the intents of artists and musicians. In this paper, we aim to unify explicit control and style transfer within a single model by separating local and global information to capture musical structure and timbre respectively. To do so, we leverage the capabilities of diffusion autoencoders to extract semantic features, in order to build two representation spaces. We enforce disentanglement between those spaces using an adversarial criterion and a two-stage training strategy. Our resulting model can generate audio matching a timbre target, while specifying structure either with explicit controls or through another audio example. We evaluate our model on one-shot timbre transfer and MIDI-to-audio tasks on instrumental recordings and show that we outperform existing baselines in terms of audio quality and target fidelity. Furthermore, we show that our method can generate cover versions of complete musical pieces by transferring rhythmic and melodic content to the style of a target audio in a different genre.

چکیده به فارسی (ترجمه ماشینی)

اکنون مدل های تولیدی عمیق قادر به سنتز سیگنال های صوتی با کیفیت بالا هستند و جنبه مهم در توسعه آنها را از کیفیت صدا به قابلیت های کنترل تغییر می دهند.اگرچه نسل متن به موسیقی عمدتاً مورد استقبال عموم مردم قرار می گیرد ، اما کنترل صریح و انتقال سبک مبتنی بر مثال ، روشهای کافی تر برای ضبط اهداف هنرمندان و نوازندگان است.در این مقاله ، ما هدف ما متحد کردن کنترل صریح و انتقال سبک در یک مدل واحد با جدا کردن اطلاعات محلی و جهانی برای ضبط ساختار موسیقی و Timbre به ترتیب هستیم.برای انجام این کار ، ما به منظور ساختن دو فضای نمایندگی ، از قابلیت های خودروهای انتشار برای استخراج ویژگی های معنایی استفاده می کنیم.ما با استفاده از یک معیار مخالف و یک استراتژی آموزش دو مرحله ای ، بین آن فضاها را اجرا می کنیم.مدل حاصل ما می تواند تطبیق صوتی را با هدف Timbre ایجاد کند ، در حالی که ساختار را با کنترل های صریح یا از طریق مثال صوتی دیگر مشخص می کند.ما مدل خود را در زمینه انتقال TIMBRE یک شات و وظایف MIDI به Audio در ضبط های ابزاری ارزیابی می کنیم و نشان می دهیم که از خط مقدمات موجود از نظر کیفیت صدا و وفاداری هدف بهتر عمل می کنیم.علاوه بر این ، ما نشان می دهیم که روش ما می تواند با انتقال محتوای ریتمیک و ملودیک به سبک یک صدای هدف در یک ژانر متفاوت ، نسخه های جلد قطعات کامل موسیقی را تولید کند.