مقاله یک مدل نیابتی قابل توضیح برای تقسیم‌بندی صوتی چند برچسبی

چکیده

Audio signal segmentation is a key task for automatic audio indexing. It consists of detecting the boundaries of class-homogeneous segments in the signal. In many applications, explainable AI is a vital process for transparency of decision-making with machine learning. In this paper, we propose an explainable multilabel segmentation model that solves speech activity (SAD), music (MD), noise (ND), and overlapped speech detection (OSD) simultaneously. This proxy uses the non-negative matrix factorization (NMF) to map the embedding used for the segmentation to the frequency domain. Experiments conducted on two datasets show similar performances as the pre-trained black box model while showing strong explainability features. Specifically, the frequency bins used for the decision can be easily identified at both the segment level (local explanations) and global level (class prototypes).

چکیده به فارسی (ترجمه ماشینی)

تقسیم بندی سیگنال صوتی یک کار اصلی برای نمایه سازی خودکار صوتی است.این شامل تشخیص مرزهای بخشهای همگن کلاس در سیگنال است.در بسیاری از برنامه ها ، AI قابل توضیح یک فرآیند حیاتی برای شفافیت تصمیم گیری با یادگیری ماشین است.در این مقاله ، ما یک مدل تقسیم بندی چند خطی قابل توضیح را پیشنهاد می کنیم که فعالیت گفتار (SAD) ، موسیقی (MD) ، نویز (ND) و تشخیص گفتار با هم همزمان (OSD) را به طور همزمان حل می کند.این پروکسی از فاکتورسازی ماتریس غیر منفی (NMF) برای نقشه برداری از تعبیه مورد استفاده برای تقسیم به دامنه فرکانس استفاده می کند.آزمایش های انجام شده بر روی دو مجموعه داده عملکرد مشابهی را نشان می دهد که مدل جعبه سیاه از پیش آموزش داده شده در حالی که ویژگی های توضیح قوی را نشان می دهد.به طور خاص ، سطل های فرکانس مورد استفاده برای تصمیم گیری را می توان به راحتی در هر دو سطح بخش (توضیحات محلی) و سطح جهانی (نمونه های اولیه کلاس) به راحتی شناسایی کرد.