عنوان مقاله به انگلیسی | T-FOLEY: A Controllable Waveform-Domain Diffusion Model for Temporal-Event-Guided Foley Sound Synthesis |
عنوان مقاله به فارسی | مقاله T-Foley: یک مدل انتشار موج شکل موج قابل کنترل برای سنتز صدای فولی با هدایت موقتی با وقایع موقتی |
نویسندگان | Yoonjin Chung, Junwon Lee, Juhan Nam |
زبان مقاله | انگلیسی |
فرمت مقاله: | |
تعداد صفحات | 5 |
دسته بندی موضوعات | Sound,Artificial Intelligence,Machine Learning,Audio and Speech Processing,Signal Processing,صدا ، هوش مصنوعی ، یادگیری ماشین ، پردازش صوتی و گفتار ، پردازش سیگنال ، |
توضیحات | Submitted 17 January, 2024; originally announced January 2024. |
توضیحات به فارسی | ارسال شده 17 ژانویه 2024 ؛در ابتدا ژانویه 2024 اعلام شد. |
چکیده
Foley sound, audio content inserted synchronously with videos, plays a critical role in the user experience of multimedia content. Recently, there has been active research in Foley sound synthesis, leveraging the advancements in deep generative models. However, such works mainly focus on replicating a single sound class or a textual sound description, neglecting temporal information, which is crucial in the practical applications of Foley sound. We present T-Foley, a Temporal-event-guided waveform generation model for Foley sound synthesis. T-Foley generates high-quality audio using two conditions: the sound class and temporal event feature. For temporal conditioning, we devise a temporal event feature and a novel conditioning technique named Block-FiLM. T-Foley achieves superior performance in both objective and subjective evaluation metrics and generates Foley sound well-synchronized with the temporal events. Additionally, we showcase T-Foley’s practical applications, particularly in scenarios involving vocal mimicry for temporal event control. We show the demo on our companion website.
چکیده به فارسی (ترجمه ماشینی)
Foley Sound ، محتوای صوتی همزمان با فیلم ها درج شده است ، نقش مهمی در تجربه کاربر محتوای چندرسانه ای دارد.به تازگی ، تحقیقات فعال در سنتز صدا Foley انجام شده است ، و پیشرفت های مدلهای تولیدی عمیق را اعمال می کند.با این حال ، چنین کارهایی عمدتاً بر تکرار یک کلاس صوتی واحد یا توضیحات صدای متنی متمرکز است ، و از اطلاعات زمانی غفلت می کند ، که در کاربردهای عملی صدای فولی بسیار مهم است.ما T-Foley ، یک مدل تولید شکل موج با هدایت موقتی برای سنتز صدای فولی را ارائه می دهیم.T-Foley با استفاده از دو شرط ، صدای با کیفیت بالا تولید می کند: کلاس صدا و ویژگی رویداد زمانی.برای تهویه موقتی ، ما یک ویژگی رویداد زمانی و یک روش تهویه جدید به نام بلوک فیلم را ابداع می کنیم.T-Foley در هر دو معیارهای ارزیابی عینی و ذهنی به عملکرد برتر می رسد و صدای فولی را به خوبی هماهنگ با وقایع زمانی ایجاد می کند.علاوه بر این ، ما برنامه های عملی T-Foley را به ویژه در سناریوهای مربوط به تقلید صوتی برای کنترل رویدادهای زمانی به نمایش می گذاریم.ما نسخه ی نمایشی را در وب سایت همراه خود نشان می دهیم.
توجه کنید این مقاله به زبان انگلیسی است. |
برای سفارش ترجمه این مقاله می توانید به یکی از روش های تماس، پیامک، تلگرام و یا واتس اپ با شماره زیر تماس بگیرید:
09395106248 توجه کنید که شرایط ترجمه به صورت زیر است:
|
نقد و بررسیها
هنوز بررسیای ثبت نشده است.