مقاله Jam-Alt: معیار رونویسی اشعار با قالب بندی

چکیده

Current automatic lyrics transcription (ALT) benchmarks focus exclusively on word content and ignore the finer nuances of written lyrics including formatting and punctuation, which leads to a potential misalignment with the creative products of musicians and songwriters as well as listeners’ experiences. For example, line breaks are important in conveying information about rhythm, emotional emphasis, rhyme, and high-level structure. To address this issue, we introduce Jam-ALT, a new lyrics transcription benchmark based on the JamendoLyrics dataset. Our contribution is twofold. Firstly, a complete revision of the transcripts, geared specifically towards ALT evaluation by following a newly created annotation guide that unifies the music industry’s guidelines, covering aspects such as punctuation, line breaks, spelling, background vocals, and non-word sounds. Secondly, a suite of evaluation metrics designed, unlike the traditional word error rate, to capture such phenomena. We hope that the proposed benchmark contributes to the ALT task, enabling more precise and reliable assessments of transcription systems and enhancing the user experience in lyrics applications such as subtitle renderings for live captioning or karaoke.

چکیده به فارسی (ترجمه ماشینی)

معیارهای فعلی اشعار خودکار رونویسی (ALT) به طور انحصاری روی محتوای کلمه تمرکز می کنند و ظرافت های ظریف تر اشعار نوشته شده از جمله قالب بندی و نگارشی را نادیده می گیرند ، که منجر به سوء استفاده بالقوه با محصولات خلاق موسیقی دانان و ترانه سرا و همچنین تجربیات شنوندگان می شود.به عنوان مثال ، شکستن خط در انتقال اطلاعات در مورد ریتم ، تأکید عاطفی ، قافیه و ساختار سطح بالا مهم است.برای پرداختن به این موضوع ، ما Jam-Alt را معرفی می کنیم ، معیار جدید رونویسی اشعار مبتنی بر مجموعه داده های Jamendolyrics.سهم ما دو برابر است.در مرحله اول ، تجدید نظر کامل از رونوشت ها ، به طور خاص به سمت ارزیابی ALT با دنبال کردن یک راهنمای حاشیه نویسی تازه ایجاد شده که دستورالعمل های صنعت موسیقی را متحد می کند ، جنبه هایی مانند نگارشی ، شکستن خط ، هجی ، آوازهای پس زمینه و صداهای غیر کلمه را پوشش می دهد.ثانیا ، مجموعه ای از معیارهای ارزیابی ، برخلاف میزان خطای کلمه سنتی ، برای گرفتن چنین پدیده هایی طراحی شده است.ما امیدواریم که معیار پیشنهادی به کار ALT کمک کند ، و ارزیابی دقیق تر و قابل اعتماد تر از سیستم های رونویسی و تقویت تجربه کاربر در برنامه های اشعار مانند ارائه زیرنویس برای زیرنویس زنده یا کارائوکه را فراهم کند.