ترجمه فارسی مقاله DPSNN: شبکه عصبی سنبله برای تقویت گفتار جریان کم تأخیر

چکیده

Speech enhancement (SE) improves communication in noisy environments, affecting areas such as automatic speech recognition, hearing aids, and telecommunications. With these domains typically being power-constrained and event-based while requiring low latency, neuromorphic algorithms in the form of spiking neural networks (SNNs) have great potential. Yet, current effective SNN solutions require a contextual sampling window imposing substantial latency, typically around 32ms, too long for many applications. Inspired by Dual-Path Spiking Neural Networks (DPSNNs) in classical neural networks, we develop a two-phase time-domain streaming SNN framework — the Dual-Path Spiking Neural Network (DPSNN). In the DPSNN, the first phase uses Spiking Convolutional Neural Networks (SCNNs) to capture global contextual information, while the second phase uses Spiking Recurrent Neural Networks (SRNNs) to focus on frequency-related features. In addition, the regularizer suppresses activation to further enhance energy efficiency of our DPSNNs. Evaluating on the VCTK and Intel DNS Datasets, we demonstrate that our approach achieves the very low latency (approximately 5ms) required for applications like hearing aids, while demonstrating excellent signal-to-noise ratio (SNR), perceptual quality, and energy efficiency.

چکیده به فارسی (ترجمه ماشینی)

تقویت گفتار (SE) ارتباطات را در محیط های پر سر و صدا بهبود می بخشد و در مناطقی مانند تشخیص خودکار گفتار ، سمعک ها و ارتباطات از راه دور تأثیر می گذارد.با وجود این دامنه ها به طور معمول محدود به قدرت و مبتنی بر رویداد در حالی که نیاز به تأخیر کم دارند ، الگوریتم های عصبی در قالب شبکه های عصبی سنبله (SNN) پتانسیل خوبی دارند.با این حال ، راه حل های مؤثر SNN فعلی نیاز به یک پنجره نمونه گیری متنی دارد که تأخیر قابل توجهی را تحمیل می کند ، به طور معمول در حدود 32ms ، برای بسیاری از برنامه ها بسیار طولانی است.ما با الهام از شبکه های عصبی سنبله دو مسیر (DPSNN) در شبکه های عصبی کلاسیک ، ما یک چارچوب SNN جریان دو مرحله ای دامنه زمان ایجاد می کنیم-شبکه عصبی سنبله دوتایی (DPSNN).در DPSNN ، مرحله اول از شبکه های عصبی حلقوی سنبله (SCNN) برای گرفتن اطلاعات متنی جهانی استفاده می کند ، در حالی که مرحله دوم از شبکه های عصبی مکرر سنبله (SRNN) برای تمرکز روی ویژگی های مربوط به فرکانس استفاده می کند.علاوه بر این ، تنظیم کننده فعال سازی را برای افزایش بیشتر بهره وری انرژی DPSNN های ما سرکوب می کند.با ارزیابی مجموعه داده های VCTK و Intel DNS ، ما نشان می دهیم که رویکرد ما به تأخیر بسیار کم (تقریباً 5ms) مورد نیاز برای برنامه های سمعک می رسد ، ضمن اینکه نسبت سیگنال به نویز عالی (SNR) ، کیفیت ادراکی و راندمان انرژی را نشان می دهد.