ترجمه فارسی مقاله MuChoMusic: ارزیابی درک موسیقی در مدل‌های چندوجهی صوتی-زبانی

چکیده

Multimodal models that jointly process audio and language hold great promise in audio understanding and are increasingly being adopted in the music domain. By allowing users to query via text and obtain information about a given audio input, these models have the potential to enable a variety of music understanding tasks via language-based interfaces. However, their evaluation poses considerable challenges, and it remains unclear how to effectively assess their ability to correctly interpret music-related inputs with current methods. Motivated by this, we introduce MuChoMusic, a benchmark for evaluating music understanding in multimodal language models focused on audio. MuChoMusic comprises 1,187 multiple-choice questions, all validated by human annotators, on 644 music tracks sourced from two publicly available music datasets, and covering a wide variety of genres. Questions in the benchmark are crafted to assess knowledge and reasoning abilities across several dimensions that cover fundamental musical concepts and their relation to cultural and functional contexts. Through the holistic analysis afforded by the benchmark, we evaluate five open-source models and identify several pitfalls, including an over-reliance on the language modality, pointing to a need for better multimodal integration. Data and code are open-sourced.

چکیده به فارسی (ترجمه ماشینی)

مدل های چند مدلی که به طور مشترک پردازش صدا و زبان را پردازش می کنند ، در درک صوتی نوید زیادی دارند و به طور فزاینده ای در حوزه موسیقی اتخاذ می شوند.این مدل ها با اجازه دادن به کاربران از طریق متن و به دست آوردن اطلاعات در مورد ورودی صوتی معین ، این پتانسیل را دارند که انواع مختلفی از کارهای درک موسیقی را از طریق رابط های مبتنی بر زبان فعال کنند.با این حال ، ارزیابی آنها چالش های قابل توجهی را ایجاد می کند ، و هنوز مشخص نیست که چگونه می توان توانایی آنها را در تفسیر صحیح ورودی های مرتبط با موسیقی با روش های فعلی ارزیابی کرد.با انگیزه در این مورد ، ما Muckomusic را معرفی می کنیم ، معیار ارزیابی درک موسیقی در مدل های زبان چند حالته متمرکز بر صدا.Mupomusic شامل 1،187 سؤال چند گزینه ای است که همه آنها توسط حاشیه نویسان انسانی تأیید شده اند ، در 644 آهنگ موسیقی که از دو مجموعه داده موسیقی در دسترس عمومی تهیه شده و طیف گسترده ای از ژانرها را پوشش می دهد.سؤالات موجود در این معیار برای ارزیابی دانش و توانایی های استدلال در ابعاد مختلفی که شامل مفاهیم اساسی موسیقی و ارتباط آنها با زمینه های فرهنگی و عملکردی است ، تهیه می شود.از طریق تجزیه و تحلیل جامع که توسط این معیار فراهم شده است ، ما پنج مدل منبع باز را ارزیابی می کنیم و چندین مشکل از جمله اتکا به روش زبان را شناسایی می کنیم و به نیاز به ادغام چندمدی بهتر اشاره می کنیم.داده ها و کد با منبع باز هستند.