مقاله بازبینی یادگیری خود نظارتی بازنمایی گفتار از دیدگاه اطلاعات متقابل

چکیده

Existing studies on self-supervised speech representation learning have focused on developing new training methods and applying pre-trained models for different applications. However, the quality of these models is often measured by the performance of different downstream tasks. How well the representations access the information of interest is less studied. In this work, we take a closer look into existing self-supervised methods of speech from an information-theoretic perspective. We aim to develop metrics using mutual information to help practical problems such as model design and selection. We use linear probes to estimate the mutual information between the target information and learned representations, showing another insight into the accessibility to the target information from speech representations. Further, we explore the potential of evaluating representations in a self-supervised fashion, where we estimate the mutual information between different parts of the data without using any labels. Finally, we show that both supervised and unsupervised measures echo the performance of the models on layer-wise linear probing and speech recognition.

چکیده به فارسی (ترجمه ماشینی)

مطالعات موجود در مورد یادگیری بازنمایی گفتار خود تحت نظارت بر توسعه روشهای جدید آموزش و استفاده از مدلهای از پیش آموزش داده شده برای برنامه های مختلف متمرکز شده است.با این حال ، کیفیت این مدل ها اغلب با عملکرد کارهای مختلف پایین دست اندازه گیری می شود.چگونگی دسترسی نمایندگی ها به اطلاعات مورد علاقه کمتر مورد مطالعه قرار می گیرد.در این کار ، ما از دیدگاه خود نظری اطلاعاتی به روشهای گفتار خود تحت نظارت موجود می پردازیم.هدف ما توسعه معیارها با استفاده از اطلاعات متقابل برای کمک به مشکلات عملی مانند طراحی و انتخاب مدل است.ما از پروب های خطی برای برآورد اطلاعات متقابل بین اطلاعات هدف و بازنمودهای آموخته شده استفاده می کنیم و بینش دیگری از دسترسی به اطلاعات هدف از بازنمودهای گفتار نشان می دهد.علاوه بر این ، ما پتانسیل ارزیابی بازنمایی ها را به صورت خودسور بررسی می کنیم ، جایی که اطلاعات متقابل بین قسمت های مختلف داده ها را بدون استفاده از برچسب ها تخمین می زنیم.سرانجام ، ما نشان می دهیم که هر دو اقدامات تحت نظارت و بدون نظارت ، عملکرد مدل ها را بر روی کاوش خطی لایه و تشخیص گفتار انجام می دهند.