پیشرفت‌های چشمگیر در دو دهه اخیر در زمینه مدل‌سازی درک و شناخت صدا، عمدتاً مدیون معماری‌های شبکه‌های عصبی کانولوشنی (CNN) بوده است. این معماری‌ها با یادگیری سلسله‌مراتبی ویژگی‌ها، توانسته‌اند در پردازش سیگنال‌های صوتی به موفقیت‌های بزرگی دست یابند. اما اکنون، پژوهشگران در حال کاوش در مرزهای جدیدی هستند و معماری‌های ترانسفورمر را که در پردازش زبان طبیعی و بینایی ماشین به نتایج خیره‌کننده‌ای دست یافته‌اند، به دنیای صدا وارد کرده‌اند.

مقاله “Audio Transformers” نوشته پراتیک وِرما و جاناتان بِرگر، گامی بلند در این راستا برداشته و نشان می‌دهد که چگونه می‌توان با کنار گذاشتن لایه‌های کانولوشنی و تکیه بر قدرت ترانسفورمرها، عملکرد مدل‌های پردازش صوت را به سطحی بی‌سابقه ارتقا داد.

در دنیای هوش مصنوعی، پردازش و درک صدا یکی از چالش‌برانگیزترین و در عین حال پرکاربردترین حوزه‌هاست. از تشخیص گفتار و ترجمه صوتی گرفته تا تحلیل صحنه‌های صوتی و شناسایی نویز، نیاز به مدل‌های قدرتمند و دقیق همواره احساس می‌شود. معماری‌های CNN طی سال‌ها به عنوان ابزاری قدرتمند در این زمینه شناخته شده‌اند و قادر به استخراج و یادگیری ویژگی‌های سلسله‌مراتبی از داده‌های صوتی بوده‌اند.

اما ترانسفورمرها، با توانایی خود در مدل‌سازی وابستگی‌های بلندمدت در داده‌های ترتیبی، انقلابی در حوزه‌هایی مانند پردازش زبان طبیعی (NLP) و بینایی ماشین (Computer Vision) ایجاد کرده‌اند. مقاله “Audio Transformers” به بررسی پتانسیل این معماری‌ها در حوزه پردازش صوت می‌پردازد و ادعا می‌کند که با حذف لایه‌های کانولوشنی و استفاده مستقیم از سیگنال صوتی خام، می‌توان به نتایجی فراتر از مدل‌های پیشین دست یافت.

اهمیت این پژوهش در این است که بدون نیاز به پیش‌آموزش (pre-training) بدون نظارت، که اغلب در NLP و بینایی ماشین برای دستیابی به عملکرد برتر لازم است، مدل ترانسفورمر توانسته است نتایج پیشرفته (state-of-the-art) را در طبقه‌بندی صحنه‌های صوتی کسب کند. این امر نشان‌دهنده کارایی ذاتی و انعطاف‌پذیری بالای معماری ترانسفورمر برای داده‌های صوتی است.

این مقاله توسط پراتیک وِرما و جاناتان بِرگر ارائه شده است. این پژوهش در راستای تلاش‌های گسترده‌تر در حوزه هوش مصنوعی، یادگیری ماشین، پردازش چندرسانه‌ای و پردازش صوت و گفتار انجام شده است.

زمینه تحقیق بر روی درک ماشینی صدا متمرکز است، به این معنی که چگونه ماشین‌ها می‌توانند صداها را “بشنوند”، “درک کنند” و “تفسیر نمایند”. این امر شامل طیف وسیعی از وظایف مانند طبقه‌بندی صدا (مثلاً تشخیص صدای زنگ در، صدای سگ، یا صدای قطار)، تحلیل صحنه‌های صوتی (مثلاً تعیین اینکه صداها در محیطی شلوغ مانند خیابان رخ می‌دهند یا محیطی آرام مانند پارک)، و حتی استخراج اطلاعات معنایی از صداها می‌شود.

با توجه به رشد روزافزون داده‌های صوتی در زندگی روزمره ما (از مکالمات گرفته تا موسیقی و صداهای محیطی)، توسعه مدل‌های هوش مصنوعی که بتوانند این حجم از اطلاعات را به طور مؤثر پردازش کنند، از اهمیت بالایی برخوردار است. این مقاله با معرفی یک رویکرد جدید، گامی مهم در جهت تحقق این هدف برمی‌دارد.

چکیده این مقاله به طور خلاصه اهداف و نتایج اصلی پژوهش را بیان می‌کند:

• هدف اصلی: بررسی کارایی معماری‌های ترانسفورمر بدون لایه‌های کانولوشنی برای پردازش سیگنال‌های صوتی خام.
• مقایسه با مدل‌های پیشین: مقایسه عملکرد مدل پیشنهادی با مدل‌های مبتنی بر CNN در وظیفه طبقه‌بندی صحنه‌های صوتی.
• دستاورد: دستیابی به نتایج پیشرفته (state-of-the-art) در مجموعه داده استاندارد Free Sound 50K، که شامل ۲۰۰ دسته صوتی مختلف است.
• مزیت کلیدی: عدم نیاز به پیش‌آموزش بدون نظارت برای پیشی گرفتن از مدل‌های CNN.
• بهبودهای بیشتر: استفاده از تکنیک‌هایی مانند pooling و ایده‌های پردازش سیگنال چندنرخی (multi-rate signal processing) برای تقویت عملکرد ترانسفورمرها.
• یافته نوآورانه: یادگیری یک فیلتربانک غیرخطی و غیرثابت با پهنای باند توسط مدل، که نشان‌دهنده یک نمایش مقدماتی زمانی-فرکانسی سازگار برای درک صدا است.

به طور کلی، این مقاله نشان می‌دهد که ترانسفورمرها می‌توانند بدون نیاز به مؤلفه‌های پیچیده CNN، به طور مستقیم بر روی سیگنال صوتی خام کار کرده و درک عمیق‌تری از ساختار و محتوای صوتی ارائه دهند.

روش‌شناسی اصلی این پژوهش بر پایه استفاده از معماری ترانسفورمر بنا شده است. برخلاف بسیاری از کارهای قبلی در پردازش صوت که از CNN برای استخراج ویژگی‌های اولیه استفاده می‌کردند، نویسندگان مستقیماً سیگنال صوتی خام را به مدل ترانسفورمر وارد می‌کنند.

مراحل کلیدی روش‌شناسی به شرح زیر است:

• ورودی مدل: سیگنال صوتی خام (raw audio signal) به عنوان ورودی مستقیم به مدل ترانسفورمر داده می‌شود. این رویکرد در تضاد با روش‌های سنتی است که ابتدا سیگنال صوتی را به نمایش‌های میانی مانند طیف‌نگاره (spectrogram) تبدیل کرده و سپس این نمایش‌ها را به مدل می‌دهند.
• معماری ترانسفورمر: معماری ترانسفورمر، که مبتنی بر مکانیزم “توجه” (attention) است، توانایی بالایی در یادگیری روابط دوربرد بین بخش‌های مختلف دنباله ورودی (در اینجا، قطعات زمانی سیگنال صوتی) دارد. برخلاف CNN که معمولاً از لایه‌های کانولوشنی برای تشخیص الگوهای محلی استفاده می‌کند، ترانسفورمر با مکانیزم خود-توجه (self-attention) می‌تواند ارتباطات معنایی بین قسمت‌های دور از هم سیگنال را مدل کند.
• حذف لایه‌های کانولوشنی: یکی از نکات برجسته این تحقیق، حذف کامل لایه‌های کانولوشنی است. این نشان می‌دهد که قدرت ذاتی مکانیزم توجه در ترانسفورمرها برای درک ساختارهای صوتی کافی است.
• مجموعه داده: برای ارزیابی مدل، از مجموعه داده استاندارد Free Sound 50K استفاده شده است. این مجموعه شامل صداهای متنوعی در ۲۰۰ دسته مختلف است و به عنوان یک معیار قابل اعتماد برای سنجش عملکرد مدل‌های پردازش صوت شناخته می‌شود.
• معیارهای ارزیابی: عملکرد مدل با استفاده از معیارهایی مانند میانگین دقت میانگین (mean Average Precision – mAP) سنجیده شده است، که یک معیار رایج و استاندارد در وظایف طبقه‌بندی و تشخیص شیء است.
• تکنیک‌های بهبود: نویسندگان برای ارتقاء بیشتر عملکرد، از تکنیک‌های نوآورانه‌ای استفاده کرده‌اند:
  • Pooling الهام گرفته از CNN: ادغام ایده‌های pooling که در شبکه‌های CNN موفق بوده‌اند، با معماری ترانسفورمر برای فشرده‌سازی و تجمیع اطلاعات.
  • پردازش سیگنال چندنرخی (Multi-rate Signal Processing): الهام از ایده‌هایی مشابه با موجک‌ها (wavelets)، برای پردازش اطلاعات صوتی در نرخ‌های نمونه‌برداری مختلف و بهبود نمایندگی‌های (embeddings) ترانسفورمر.

این رویکرد ترکیبی، امکان بهره‌برداری از نقاط قوت هر دو حوزه (ترانسفورمرها و تکنیک‌های پردازش سیگنال) را فراهم می‌آورد.

این مقاله نتایج بسیار امیدوارکننده‌ای را ارائه می‌دهد که درک ما از پردازش صدا توسط ماشین را متحول می‌کند:

• عملکرد برتر نسبت به CNN: مدل ترانسفورمر، حتی بدون پیش‌آموزش بدون نظارت، توانسته است نتایجی بهتر از مدل‌های CNN بر روی مجموعه داده Free Sound 50K کسب کند. این امر بر قدرت و کارایی ترانسفورمرها در مدل‌سازی ویژگی‌های صوتی تأکید دارد.
• قابلیت یادگیری مستقیم از سیگنال خام: توانایی مدل برای پردازش مستقیم سیگنال صوتی خام، فرآیند مدل‌سازی را ساده‌تر کرده و نیاز به مرحله مهندسی ویژگی پیچیده را کاهش می‌دهد. این رویکرد اجازه می‌دهد تا مدل خود به طور مستقیم ویژگی‌های مرتبط را از صدا استخراج کند.
• دستیابی به نتایج پیشرفته (State-of-the-Art): با استفاده از معماری ترانسفورمر و بهینه‌سازی‌های اعمال شده، مدل موفق به ثبت نتایج پیشرفته در وظیفه طبقه‌بندی صحنه‌های صوتی شده است. این بدان معناست که مدل قادر است صداهای مختلف را با دقت بالایی دسته‌بندی کرده و صحنه‌های صوتی را با موفقیت تحلیل کند.
• نمایش انعطاف‌پذیر زمانی-فرکانسی: یکی از یافته‌های جالب، یادگیری یک فیلتربانک غیرخطی و غیرثابت با پهنای باند توسط مدل است. این فیلتربانک، یک نمایش مقدماتی (frontend representation) سازگار و پویا از صدا در حوزه زمان-فرکانس ارائه می‌دهد که نسبت به وظایف مختلف (مانند تخمین زیر و بمی صدا یا تحلیل صحنه صوتی) می‌تواند متفاوت باشد. این انعطاف‌پذیری، قابلیت مدل را برای درک ظرافت‌های مختلف صدا افزایش می‌دهد.
• بهبودهای ناشی از تکنیک‌های ترکیبی: ترکیب معماری ترانسفورمر با تکنیک‌هایی مانند pooling و پردازش سیگنال چندنرخی، منجر به افزایش قابل توجهی در عملکرد شده است. این نشان می‌دهد که رویکردهای هیبریدی می‌توانند به مزایای بیشتری منجر شوند.

موفقیت معماری ترانسفورمر در پردازش صدا، درها را به سوی طیف وسیعی از کاربردها و دستاوردهای بالقوه باز می‌کند:

• سیستم‌های تشخیص و شناسایی صدا: بهبود دقت در سیستم‌های تشخیص خودکار صدا، مانند تشخیص زنگ خطر، هشدار امنیتی، یا شناسایی حیوانات.
• تحلیل صحنه‌های صوتی هوشمند: ایجاد سیستم‌هایی که قادر به درک محیط اطراف از طریق صدا هستند. این امر می‌تواند در رباتیک، خودروهای خودران، و سیستم‌های نظارتی پیشرفته کاربرد داشته باشد. به عنوان مثال، خودروی خودران بتواند صدای آژیر آمبولانس را از فاصله‌ی دور تشخیص دهد و مسیر خود را تغییر دهد.
• دستیارهای صوتی پیشرفته: بهبود عملکرد دستیارهای صوتی مانند الکسا یا گوگل اسیستنت در درک دستورات پیچیده، تشخیص گوینده، و درک مکالمات در محیط‌های پر سروصدا.
• مدیریت و جستجوی رسانه‌های صوتی: امکان جستجوی معنایی در پایگاه‌های داده عظیم صوتی (مانند موسیقی، پادکست، یا فایل‌های صوتی ضبط شده). تصور کنید بتوانید به جای جستجو بر اساس برچسب‌ها، به دنبال “صدای غروب آفتاب در کنار ساحل” بگردید.
• کاربردهای پزشکی: تحلیل صداهای بدن (مانند سرفه، تنفس، یا ضربان قلب) برای تشخیص بیماری‌ها یا نظارت بر وضعیت بیماران.
• بهینه‌سازی کیفیت صدا: ابداع الگوریتم‌های جدید برای حذف نویز، بهبود کیفیت صدا در تماس‌های تلفنی، یا حتی تولید موسیقی و افکت‌های صوتی.
• پردازش زبان طبیعی صوتی: ادغام عمیق‌تر پردازش صدا با پردازش زبان طبیعی، که می‌تواند منجر به سیستم‌های ارتباطی بسیار پیشرفته‌تر شود.

این دستاوردها نشان‌دهنده این است که ترانسفورمرها صرفاً یک ابزار تحقیقاتی نیستند، بلکه پتانسیل تغییر چگونگی تعامل ما با دنیای صوتی را دارند.

مقاله “Audio Transformers” یک گام بزرگ و نویدبخش در حوزه پردازش صدا با استفاده از هوش مصنوعی است. نویسندگان با موفقیت نشان داده‌اند که معماری ترانسفورمر، با قابلیت‌های ذاتی خود در مدل‌سازی وابستگی‌های بلندمدت، می‌تواند بدون نیاز به لایه‌های کانولوشنی سنتی، به طور مستقیم بر روی سیگنال صوتی خام کار کرده و نتایجی در سطح پیشرفته (state-of-the-art) در وظایف پیچیده‌ای مانند طبقه‌بندی صحنه‌های صوتی کسب کند.

یافته کلیدی مبنی بر یادگیری یک نمایش زمانی-فرکانسی انعطاف‌پذیر و پویا، نشان‌دهنده عمق درک مدل از ساختار صوتی است. این انعطاف‌پذیری، که از طریق فیلتربانک غیرخطی و غیرثابت با پهنای باند حاصل می‌شود، تفاوت قابل توجهی با روش‌های ثابت و سنتی دارد و امکان سازگاری بهتر با انواع مختلف داده‌ها و وظایف صوتی را فراهم می‌آورد.

عدم نیاز به پیش‌آموزش بدون نظارت برای دستیابی به این سطح از عملکرد، اهمیت این روش را دوچندان می‌کند، زیرا فرآیند توسعه مدل را ساده‌تر و سریع‌تر می‌سازد. ادغام ایده‌های پردازش سیگنال چندنرخی و تکنیک‌های pooling نیز، هم‌افزایی مفیدی را بین معماری‌های یادگیری عمیق و اصول پردازش سیگنال ایجاد کرده است.

در مجموع، این پژوهش نه تنها اعتبار معماری ترانسفورمر را در حوزه صدا اثبات می‌کند، بلکه راه را برای نسل جدیدی از سیستم‌های پردازش صدا که هوشمندتر، کارآمدتر و سازگارتر هستند، هموار می‌سازد. این پیشرفت‌ها می‌توانند در آینده نزدیک شاهد تحولات چشمگیری در نحوه تعامل ما با فناوری‌های مبتنی بر صدا باشند.