ترجمه فارسی مقاله SpikeVoice: تبدیل متن به گفتار با کیفیت بالا از طریق شبکه عصبی Spiking کارآمد

چکیده

Brain-inspired Spiking Neural Network (SNN) has demonstrated its effectiveness and efficiency in vision, natural language, and speech understanding tasks, indicating their capacity to “see”, “listen”, and “read”. In this paper, we design textbf{SpikeVoice}, which performs high-quality Text-To-Speech (TTS) via SNN, to explore the potential of SNN to “speak”. A major obstacle to using SNN for such generative tasks lies in the demand for models to grasp long-term dependencies. The serial nature of spiking neurons, however, leads to the invisibility of information at future spiking time steps, limiting SNN models to capture sequence dependencies solely within the same time step. We term this phenomenon “partial-time dependency”. To address this issue, we introduce Spiking Temporal-Sequential Attention STSA in the SpikeVoice. To the best of our knowledge, SpikeVoice is the first TTS work in the SNN field. We perform experiments using four well-established datasets that cover both Chinese and English languages, encompassing scenarios with both single-speaker and multi-speaker configurations. The results demonstrate that SpikeVoice can achieve results comparable to Artificial Neural Networks (ANN) with only 10.5 energy consumption of ANN.

چکیده به فارسی (ترجمه ماشینی)

شبکه عصبی سنبله الهام گرفته از مغز (SNN) اثربخشی و کارآیی خود را در وظایف دید ، زبان طبیعی و درک گفتار نشان داده است ، و این نشانگر توانایی آنها برای “دیدن” ، “گوش دادن” و “خواندن” است.در این مقاله ، ما textbf {spikevoice} را طراحی می کنیم ، که از طریق SNN با کیفیت بالا به گفتار (TTS) را انجام می دهد تا پتانسیل SNN را برای “صحبت” کشف کنیم.یک مانع عمده برای استفاده از SNN برای چنین کارهای تولیدی در تقاضا برای مدل ها برای درک وابستگی های طولانی مدت نهفته است.با این حال ، ماهیت سریال نورونهای سنبله ، منجر به نامرئی اطلاعات در مراحل زمان سنبله آینده می شود و مدل های SNN را محدود می کند تا وابستگی های توالی را صرفاً در همان مرحله زمان ضبط کند.ما این پدیده را “وابستگی جزئی” می نامیم.برای پرداختن به این مسئله ، ما توجه سنبله زمانی STSA را در Spikevoice معرفی می کنیم.به بهترین دانش ما ، SpikeVoice اولین کار TTS در زمینه SNN است.ما آزمایشات را با استفاده از چهار مجموعه داده خوب تثبیت شده انجام می دهیم که هر دو زبان چینی و انگلیسی را پوشش می دهند ، شامل سناریوهای شامل هر دو تنظیمات تک بلندگو و چند بلندگو.نتایج نشان می دهد که SpikeVoice می تواند به نتایج قابل مقایسه با شبکه های عصبی مصنوعی (ANN) با تنها 10.5 مصرف انرژی ANN دست یابد.