مقاله یک سیستم تراز اشعار در زمان واقعی با استفاده از Chroma و ویژگی های آوایی برای عملکرد صوتی کلاسیک

چکیده

The goal of real-time lyrics alignment is to take live singing audio as input and to pinpoint the exact position within given lyrics on the fly. The task can benefit real-world applications such as the automatic subtitling of live concerts or operas. However, designing a real-time model poses a great challenge due to the constraints of only using past input and operating within a minimal latency. Furthermore, due to the lack of datasets for real-time models for lyrics alignment, previous studies have mostly evaluated with private in-house datasets, resulting in a lack of standard evaluation methods. This paper presents a real-time lyrics alignment system for classical vocal performances with two contributions. First, we improve the lyrics alignment algorithm by finding an optimal combination of chromagram and phonetic posteriorgram (PPG) that capture melodic and phonetics features of the singing voice, respectively. Second, we recast the Schubert Winterreise Dataset (SWD) which contains multiple performance renditions of the same pieces as an evaluation set for the real-time lyrics alignment.

چکیده به فارسی (ترجمه ماشینی)

هدف تراز اشعار در زمان واقعی ، آواز خواندن زنده به عنوان ورودی و مشخص کردن موقعیت دقیق در اشعار داده شده در پرواز است.این کار می تواند از برنامه های دنیای واقعی مانند زیرنویس اتوماتیک کنسرت های زنده یا اپرا بهره مند شود.با این حال ، طراحی یک مدل در زمان واقعی به دلیل محدودیت تنها استفاده از ورودی گذشته و کار در حداقل تأخیر ، یک چالش بزرگ را ایجاد می کند.علاوه بر این ، به دلیل عدم وجود مجموعه داده ها برای مدل های زمان واقعی برای تراز اشعار ، مطالعات قبلی بیشتر با مجموعه داده های داخلی خصوصی ارزیابی شده است و در نتیجه عدم وجود روش های ارزیابی استاندارد.در این مقاله یک سیستم تراز اشعار در زمان واقعی برای اجراهای صوتی کلاسیک با دو کمک ارائه شده است.اول ، ما الگوریتم تراز اشعار را با یافتن ترکیبی بهینه از کروماگرام و خلفی آوایی (PPG) که به ترتیب ویژگی های ملودیک و آوایی صدای آواز را ضبط می کنند ، بهبود می بخشیم.دوم ، ما مجموعه داده های Schubert WinterReise (SWD) را که حاوی چندین نمایش عملکرد از همان قطعات به عنوان یک ارزیابی برای تراز اشعار در زمان واقعی است ، بازیابی می کنیم.