مقاله در مورد تأثیر افزایش داده بر ویژگی‌های جاسازی محلی در یادگیری متضاد بازنمایی‌های صوتی موسیقی

چکیده

Audio embeddings are crucial tools in understanding large catalogs of music. Typically embeddings are evaluated on the basis of the performance they provide in a wide range of downstream tasks, however few studies have investigated the local properties of the embedding spaces themselves which are important in nearest neighbor algorithms, commonly used in music search and recommendation. In this work we show that when learning audio representations on music datasets via contrastive learning, musical properties that are typically homogeneous within a track (e.g., key and tempo) are reflected in the locality of neighborhoods in the resulting embedding space. By applying appropriate data augmentation strategies, localisation of such properties can not only be reduced but the localisation of other attributes is increased. For example, locality of features such as pitch and tempo that are less relevant to non-expert listeners, may be mitigated while improving the locality of more salient features such as genre and mood, achieving state-of-the-art performance in nearest neighbor retrieval accuracy. Similarly, we show that the optimal selection of data augmentation strategies for contrastive learning of music audio embeddings is dependent on the downstream task, highlighting this as an important embedding design decision.

چکیده به فارسی (ترجمه ماشینی)

تعبیه های صوتی ابزاری مهم در درک کاتالوگ های بزرگ موسیقی هستند.به طور معمول تعبیه ها بر اساس عملکردی که آنها در طیف گسترده ای از کارهای پایین دست ارائه می دهند ، ارزیابی می شوند ، اما مطالعات کمی در مورد خصوصیات محلی فضاهای تعبیه شده خود که در نزدیکترین الگوریتم های همسایه مهم هستند ، که معمولاً در جستجوی موسیقی و توصیه مورد استفاده قرار می گیرند ، بررسی کرده اند.در این کار نشان می دهیم که هنگام یادگیری بازنمایی های صوتی در مجموعه داده های موسیقی از طریق یادگیری متضاد ، خواص موسیقی که به طور معمول در یک مسیر همگن هستند (به عنوان مثال ، کلید و سرعت) در محل محلات در فضای تعبیه کننده حاصل منعکس می شوند.با استفاده از استراتژی های مناسب برای تقویت داده ها ، محلی سازی چنین خواص نه تنها می تواند کاهش یابد بلکه بومی سازی سایر ویژگی ها افزایش می یابد.به عنوان مثال ، محلی از ویژگی هایی مانند زمین و سرعت که برای شنوندگان غیر متخصص کمتر مرتبط است ، ممکن است ضمن بهبود مکان ویژگی های برجسته تر مانند ژانر و خلق و خوی ، دستیابی به عملکرد پیشرفته در نزدیکترین همسایه کاهش یابد.دقت بازیابی.به طور مشابه ، ما نشان می دهیم که انتخاب بهینه استراتژی های تقویت داده برای یادگیری متضاد از تعبیه صوتی موسیقی بستگی به کار پایین دست دارد و این را به عنوان یک تصمیم مهم طراحی تعبیه می کند.