ترجمه فارسی مقاله ارزیابی مدل های زبان پیش ساخته در درک موسیقی

چکیده

Music-text multimodal systems have enabled new approaches to Music Information Research (MIR) applications such as audio-to-text and text-to-audio retrieval, text-based song generation, and music captioning. Despite the reported success, little effort has been put into evaluating the musical knowledge of Large Language Models (LLM). In this paper, we demonstrate that LLMs suffer from 1) prompt sensitivity, 2) inability to model negation (e.g. ‘rock song without guitar’), and 3) sensitivity towards the presence of specific words. We quantified these properties as a triplet-based accuracy, evaluating the ability to model the relative similarity of labels in a hierarchical ontology. We leveraged the Audioset ontology to generate triplets consisting of an anchor, a positive (relevant) label, and a negative (less relevant) label for the genre and instruments sub-tree. We evaluated the triplet-based musical knowledge for six general-purpose Transformer-based models. The triplets obtained through this methodology required filtering, as some were difficult to judge and therefore relatively uninformative for evaluation purposes. Despite the relatively high accuracy reported, inconsistencies are evident in all six models, suggesting that off-the-shelf LLMs need adaptation to music before use.

چکیده به فارسی (ترجمه ماشینی)

سیستم های چند منظوره Music-Text رویکردهای جدیدی را در مورد برنامه های تحقیقات موسیقی (MIR) مانند بازیابی صوتی به متن و متن به Audio ، تولید آهنگ مبتنی بر متن و عنوان موسیقی فعال کرده اند.با وجود موفقیت گزارش شده ، تلاش کمی برای ارزیابی دانش موسیقی مدل های بزرگ زبان (LLM) انجام شده است.در این مقاله ، ما نشان می دهیم که LLM ها از 1) حساسیت سریع ، 2) عدم توانایی در مدل نفی (به عنوان مثال “آهنگ راک بدون گیتار”) و 3) حساسیت نسبت به حضور کلمات خاص رنج می برند.ما این خصوصیات را به عنوان یک دقت مبتنی بر سه گانه اندازه گیری کردیم و توانایی مدل سازی شباهت نسبی برچسب ها در یک هستی شناسی سلسله مراتبی را ارزیابی کردیم.ما برای تولید سه گانه متشکل از یک لنگر ، یک برچسب مثبت (مرتبط) و یک برچسب منفی (کمتر مرتبط) برای ژانر و ابزارهای زیر درخت ، از هستی شناسی صوتی استفاده کردیم.ما دانش موسیقی مبتنی بر سه گانه را برای شش مدل مبتنی بر ترانسفورماتور عمومی ارزیابی کردیم.سه گانه به دست آمده از طریق این روش نیاز به فیلتر کردن داشت ، زیرا برخی از آنها قضاوت دشوار بودند و بنابراین برای اهداف ارزیابی نسبتاً ناآگاهانه بودند.با وجود دقت نسبتاً بالا گزارش شده ، ناسازگاری ها در هر شش مدل مشهود است ، نشان می دهد که LLM های خارج از قفسه قبل از استفاده نیاز به سازگاری با موسیقی دارند.