ترجمه فارسی مقاله Stem-JEPA: یک معماری پیش‌بینی‌کننده با جاسازی مشترک برای تخمین سازگاری ساقه موسیقی

چکیده

This paper explores the automated process of determining stem compatibility by identifying audio recordings of single instruments that blend well with a given musical context. To tackle this challenge, we present Stem-JEPA, a novel Joint-Embedding Predictive Architecture (JEPA) trained on a multi-track dataset using a self-supervised learning approach. Our model comprises two networks: an encoder and a predictor, which are jointly trained to predict the embeddings of compatible stems from the embeddings of a given context, typically a mix of several instruments. Training a model in this manner allows its use in estimating stem compatibility – retrieving, aligning, or generating a stem to match a given mix – or for downstream tasks such as genre or key estimation, as the training paradigm requires the model to learn information related to timbre, harmony, and rhythm. We evaluate our model’s performance on a retrieval task on the MUSDB18 dataset, testing its ability to find the missing stem from a mix and through a subjective user study. We also show that the learned embeddings capture temporal alignment information and, finally, evaluate the representations learned by our model on several downstream tasks, highlighting that they effectively capture meaningful musical features.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله به بررسی فرآیند خودکار تعیین سازگاری STEM با شناسایی ضبط های صوتی سازهای منفرد که به خوبی با یک زمینه موسیقی خاص ترکیب می شوند ، می پردازد.برای مقابله با این چالش ، ما STEM-JEPA را ارائه می دهیم ، یک معماری جدید پیش بینی کننده تعبیه شده مشترک (JEPA) که با استفاده از یک رویکرد یادگیری خود سنج در یک مجموعه داده چند ردی آموزش دیده است.مدل ما شامل دو شبکه است: یک رمزگذار و یک پیش بینی کننده ، که به طور مشترک برای پیش بینی تعبیه ساقه های سازگار از تعبیه یک زمینه معین ، به طور معمول ترکیبی از چندین ابزار آموزش داده می شوند.آموزش یک مدل به این روش امکان استفاده از آن را در برآورد سازگاری ساقه – بازیابی ، تراز کردن یا تولید ساقه برای مطابقت با یک ترکیب معین – یا برای کارهای پایین دست مانند ژانر یا تخمین کلیدی ، فراهم می کند ، زیرا الگوی آموزش نیاز به مدل برای یادگیری اطلاعات داردبه Timbre ، Harmony و Rhythm.ما عملکرد مدل خود را در یک کار بازیابی در مجموعه داده MUSDB18 ارزیابی می کنیم و توانایی آن را در یافتن ساقه گمشده از یک ترکیب و از طریق یک مطالعه کاربر ذهنی آزمایش می کنیم.ما همچنین نشان می دهیم که تعبیهات آموخته شده اطلاعات تراز زمانی را ضبط می کنند و در آخر ، بازنمایی های آموخته شده توسط مدل ما را در چندین کار پایین دست ارزیابی می کنند و برجسته می کنند که آنها به طور مؤثر ویژگی های موسیقی معنی دار را ضبط می کنند.