مقاله از درشت تا ریز: آموزش کارآمد برای ترانسفورماتورهای طیف‌گرام صوتی

چکیده

Transformers have become central to recent advances in audio classification. However, training an audio spectrogram transformer, e.g. AST, from scratch can be resource and time-intensive. Furthermore, the complexity of transformers heavily depends on the input audio spectrogram size. In this work, we aim to optimize AST training by linking to the resolution in the time-axis. We introduce multi-phase training of audio spectrogram transformers by connecting the seminal idea of coarse-to-fine with transformer models. To achieve this, we propose a set of methods for temporal compression. By employing one of these methods, the transformer model learns from lower-resolution (coarse) data in the initial phases, and then is fine-tuned with high-resolution data later in a curriculum learning strategy. Experimental results demonstrate that the proposed training mechanism for AST leads to improved (or on-par) performance with faster convergence, i.e. requiring fewer computational resources and less time. This approach is also generalizable to other AST-based methods regardless of their learning paradigms.

چکیده به فارسی (ترجمه ماشینی)

ترانسفورماتورها برای پیشرفت های اخیر در طبقه بندی صوتی مهم شده اند.با این حال ، آموزش یک ترانسفورماتور طیف سنجی صوتی ، به عنوان مثالAST ، از ابتدا می تواند منبع و زمان فشرده باشد.علاوه بر این ، پیچیدگی ترانسفورماتورها به شدت به اندازه طیف سنجی صوتی ورودی بستگی دارد.در این کار ، ما هدف ما بهینه سازی آموزش AST با پیوند به وضوح در محور زمان هستیم.ما با اتصال ایده اصلی از درشت به Fine با مدل های ترانسفورماتور ، آموزش چند فاز ترانسفورماتورهای طیف سنجی صوتی را معرفی می کنیم.برای دستیابی به این هدف ، ما مجموعه ای از روش ها را برای فشرده سازی زمانی پیشنهاد می کنیم.با استفاده از یکی از این روش ها ، مدل ترانسفورماتور از داده های با وضوح پایین (درشت) در مراحل اولیه یاد می گیرد ، و سپس با داده های با وضوح بالا بعداً در یک استراتژی یادگیری برنامه درسی تنظیم می شود.نتایج تجربی نشان می دهد که مکانیسم آموزشی پیشنهادی برای AST منجر به بهبود عملکرد (یا on-par) با همگرایی سریعتر می شود ، یعنی نیاز به منابع محاسباتی کمتری و زمان کمتری دارد.این رویکرد بدون در نظر گرفتن الگوی یادگیری آنها ، برای سایر روشهای مبتنی بر AST قابل تعمیم است.