مقاله tinyCLAP: استخراج مدل های پیش آموزش داده شده مقابله ای-صوتی

چکیده

Contrastive Language-Audio Pretraining (CLAP) became of crucial importance in the field of audio and speech processing. Its employment ranges from sound event detection to text-to-audio generation. However, one of the main limitations is the considerable amount of data required in the training process and the overall computational complexity during inference. This paper investigates how we can reduce the complexity of contrastive language-audio pre-trained models, yielding an efficient model that we call tinyCLAP. We derive an unimodal distillation loss from first principles and explore how the dimensionality of the shared, multimodal latent space can be reduced via pruning. TinyCLAP uses only 6% of the original Microsoft CLAP parameters with a minimal reduction (less than 5%) in zero-shot classification performance across the three sound event detection datasets on which it was tested

چکیده به فارسی (ترجمه ماشینی)

پیش فرض زبان متضاد-Audio (CLAP) در زمینه پردازش صوتی و گفتار از اهمیت اساسی برخوردار شد.اشتغال آن از تشخیص رویداد صوتی تا نسل متن به Audio متغیر است.با این حال ، یکی از محدودیت های اصلی مقدار قابل توجهی از داده های مورد نیاز در فرآیند آموزش و پیچیدگی محاسباتی کلی در هنگام استنتاج است.در این مقاله بررسی شده است که چگونه می توانیم پیچیدگی مدل های متضاد زبان-Audio را که از قبل آموزش دیده اند ، کاهش دهیم و یک مدل کارآمد را ارائه دهیم که ما آن را TinyClap می نامیم.ما یک از دست دادن تقطیر غیرمعمول را از اصول اول به دست می آوریم و بررسی می کنیم که چگونه می توان از طریق هرس ، فضای نهفته مشترک و چند حالته را کاهش داد.TinyClap تنها 6 ٪ از پارامترهای اصلی Microsoft Clap را با حداقل کاهش (کمتر از 5 ٪) در عملکرد طبقه بندی صفر در بین سه مجموعه داده تشخیص رویداد صوتی که روی آن آزمایش شده است ، استفاده می کند.