ترجمه فارسی مقاله آداپتورهای ELP: تنظیم کارآمد پارامتر آداپتور برای وظایف مختلف پردازش گفتار

چکیده

Self-supervised learning has emerged as a key approach for learning generic representations from speech data. Despite promising results in downstream tasks such as speech recognition, speaker verification, and emotion recognition, a significant number of parameters is required, which makes fine-tuning for each task memory-inefficient. To address this limitation, we introduce ELP-adapter tuning, a novel method for parameter-efficient fine-tuning using three types of adapter, namely encoder adapters (E-adapters), layer adapters (L-adapters), and a prompt adapter (P-adapter). The E-adapters are integrated into transformer-based encoder layers and help to learn fine-grained speech representations that are effective for speech recognition. The L-adapters create paths from each encoder layer to the downstream head and help to extract non-linguistic features from lower encoder layers that are effective for speaker verification and emotion recognition. The P-adapter appends pseudo features to CNN features to further improve effectiveness and efficiency. With these adapters, models can be quickly adapted to various speech processing tasks. Our evaluation across four downstream tasks using five backbone models demonstrated the effectiveness of the proposed method. With the WavLM backbone, its performance was comparable to or better than that of full fine-tuning on all tasks while requiring 90% fewer learnable parameters.

چکیده به فارسی (ترجمه ماشینی)

یادگیری خود تحت نظارت به عنوان یک رویکرد کلیدی برای یادگیری بازنمایی های عمومی از داده های گفتار ظاهر شده است.علیرغم نتایج امیدوارکننده در کارهای پایین دست مانند تشخیص گفتار ، تأیید بلندگو و تشخیص احساسات ، تعداد قابل توجهی از پارامترها مورد نیاز است ، که باعث می شود تنظیم دقیق برای هر حافظه کافی باشد.برای پرداختن به این محدودیت ، ما تنظیم ELP-Adapter را معرفی می کنیم ، یک روش جدید برای تنظیم دقیق پارامتر با استفاده از سه نوع آداپتور ، یعنی آداپتورهای رمزگذار (آداپتورهای E) ، آداپتورهای لایه ای (Adapters L) و آداپتور سریع (آداپتور P).آداپتورهای الکترونیکی در لایه های رمزگذار مبتنی بر ترانسفورماتور ادغام می شوند و به یادگیری بازنمایی گفتار ریز دانه که برای تشخیص گفتار مؤثر هستند کمک می کنند.آداپتورهای L مسیرهایی را از هر لایه رمزگذار تا سر پایین دست ایجاد می کنند و به استخراج ویژگی های غیر زبانی از لایه های رمزگذار پایین که برای تأیید بلندگوها و تشخیص احساسات مؤثر هستند کمک می کند.آداپتور P برای بهبود بیشتر اثربخشی و کارآیی ، ویژگی های شبه را به ویژگی های CNN اضافه می کند.با استفاده از این آداپتورها ، مدل ها می توانند به سرعت با کارهای مختلف پردازش گفتار سازگار شوند.ارزیابی ما در چهار وظیفه پایین دست با استفاده از پنج مدل ستون فقرات ، اثربخشی روش پیشنهادی را نشان داد.با ستون فقرات WAVLM ، عملکرد آن قابل مقایسه با یا بهتر از تنظیم کامل در تمام کارها بود در حالی که به 90 ٪ پارامترهای قابل یادگیری کمتر نیاز دارد.