تشخیص ناروانی (Disfluency Detection) در گفتار، مسئله‌ای است که در سال‌های اخیر توجه بسیاری از محققان پردازش زبان طبیعی (NLP) را به خود جلب کرده است. ناروانی‌ها، که شامل مکث‌ها، تکرارها، تصحیح‌ها و واژه‌های پرکننده مانند “اوم”، “اِ” و غیره هستند، بخشی طبیعی از گفتار انسان به شمار می‌روند. تشخیص دقیق این ناروانی‌ها می‌تواند در بهبود عملکرد سیستم‌های مختلف گفتاری مانند تشخیص گفتار (Speech Recognition)، ترجمه ماشینی (Machine Translation) و درک زبان طبیعی (Natural Language Understanding) نقش بسزایی داشته باشد. مقاله حاضر، یک رویکرد نوین چندوجهی را برای تشخیص ناروانی در بیان‌های گفتاری ارائه می‌دهد.

این مقاله توسط Sreyan Ghosh، Utkarsh Tyagi، Sonal Kumar، Manan Suri و Rajiv Ratn Shah به نگارش درآمده است. نویسندگان، با تخصص در زمینه‌های پردازش زبان طبیعی، پردازش صوت و گفتار، و یادگیری ماشین، تلاش کرده‌اند تا با بهره‌گیری از رویکردهای چندوجهی، دقت تشخیص ناروانی‌ها را بهبود بخشند. زمینه تحقیقاتی این مقاله، تلفیقی از حوزه‌های پردازش زبان طبیعی و پردازش سیگنال‌های صوتی است و هدف آن، استفاده از اطلاعات موجود در هر دو وجه زبانی و صوتی برای تشخیص بهتر ناروانی‌ها است.

در حالی که تشخیص ناروانی عمدتاً به عنوان یک وظیفه تک‌وجهی و مبتنی بر متن در پردازش زبان طبیعی مورد مطالعه قرار می‌گیرد، این مقاله رویکردی متفاوت را اتخاذ کرده است. نویسندگان یک معماری چندوجهی نوین را پیشنهاد می‌کنند که با استفاده از همجوشی اولیه (Early-Fusion) و مکانیزم توجه به خود (Self-Attention)، تعامل بین وجه‌های زبانی و صوتی را در سطح بیان‌های گفتاری فردی برقرار می‌کند. معماری پیشنهادی، از یک شبکه همجوشی پویای چندوجهی بهره می‌برد که با افزودن حداقل پارامترها به یک رمزگذار متنی موجود (که معمولاً در کارهای پیشین استفاده می‌شده است)، از نشانه‌های آهنگ و صوتی پنهان در گفتار استفاده می‌کند. نتایج تجربی نشان می‌دهد که مدل پیشنهادی، به نتایج بسیار خوبی در مجموعه داده‌ی معروف انگلیسی Switchboard برای تشخیص ناروانی دست یافته و از سیستم‌های تک‌وجهی و چندوجهی قبلی در این زمینه به طور قابل توجهی پیشی گرفته است. علاوه بر این، نویسندگان تحلیل کیفی جامعی را ارائه داده‌اند و نشان داده‌اند که برخلاف سیستم‌های مبتنی بر متن، که از همبستگی‌های نامربوط در داده‌ها رنج می‌برند، سیستم پیشنهادی با استفاده از نشانه‌های اضافی از سیگنال‌های گفتاری، این مشکل را برطرف می‌کند. کدهای مربوط به این تحقیق به صورت عمومی در GitHub در دسترس قرار گرفته‌اند.

روش‌شناسی تحقیق در این مقاله شامل چند مرحله کلیدی است:

• استخراج ویژگی: در این مرحله، ویژگی‌های مربوط به هر دو وجه زبانی و صوتی از داده‌های گفتاری استخراج می‌شوند. برای وجه زبانی، معمولاً از تکنیک‌های تعبیه‌سازی کلمات (Word Embeddings) مانند Word2Vec یا GloVe استفاده می‌شود تا کلمات به بردار‌هایی با معنای نزدیک به هم تبدیل شوند. برای وجه صوتی، ویژگی‌هایی مانند طیف‌نگاشت (Spectrogram)، MFCC (Mel-Frequency Cepstral Coefficients) و ویژگی‌های مربوط به آهنگ (Prosodic Features) استخراج می‌شوند.
• همجوشی اولیه: در این روش، ویژگی‌های استخراج شده از وجه‌های مختلف (زبانی و صوتی) در مراحل اولیه پردازش با یکدیگر ترکیب می‌شوند. این کار می‌تواند با اتصال (Concatenation) ساده‌ی بردار‌های ویژگی‌ها انجام شود.
• مکانیزم توجه به خود: مکانیزم توجه به خود (Self-Attention) به مدل این امکان را می‌دهد تا به طور خودکار به بخش‌های مهم‌تر داده‌ها توجه کند. در این مقاله، از این مکانیزم برای مدل‌سازی تعامل بین وجه‌های زبانی و صوتی استفاده شده است. به این ترتیب، مدل می‌تواند یاد بگیرد که کدام بخش‌های سیگنال صوتی، برای تشخیص ناروانی در متن اهمیت بیشتری دارند.
• شبکه همجوشی پویا: این شبکه، قلب معماری پیشنهادی را تشکیل می‌دهد. این شبکه با استفاده از یک لایه ادغام (Fusion Layer)، اطلاعات استخراج شده از وجه‌های مختلف را به صورت پویا با یکدیگر ترکیب می‌کند. این ادغام پویا به مدل این امکان را می‌دهد تا با توجه به ویژگی‌های خاص هر بیان گفتاری، بهترین ترکیب از اطلاعات زبانی و صوتی را برای تشخیص ناروانی انتخاب کند.
• ارزیابی: مدل پیشنهادی با استفاده از مجموعه داده‌ی Switchboard ارزیابی شده است. این مجموعه داده، شامل مکالمات تلفنی ضبط شده است که به طور دستی برای ناروانی‌ها برچسب‌گذاری شده‌اند. عملکرد مدل با استفاده از معیارهای ارزیابی استاندارد مانند دقت (Accuracy)، بازیابی (Recall) و امتیاز F1 اندازه‌گیری شده است.

به عنوان مثال، فرض کنید عبارت “اِ… من می خواستم… برم سینما” را داریم. یک سیستم مبتنی بر متن ممکن است به اشتباه فکر کند که شخص قصد رفتن به سینما را دارد و ناروانی “اِ” را نادیده بگیرد. اما یک سیستم چندوجهی با بررسی سیگنال صوتی، متوجه مکث طولانی و تغییر در آهنگ صدا در هنگام произнесении “اِ” می شود و به درستی آن را به عنوان یک ناروانی تشخیص می‌دهد.

یافته‌های کلیدی این تحقیق به شرح زیر است:

• مدل پیشنهادی، به نتایج بهتری نسبت به سیستم‌های تک‌وجهی و چندوجهی قبلی در تشخیص ناروانی دست یافته است. این نشان می‌دهد که استفاده از اطلاعات صوتی در کنار اطلاعات زبانی، می‌تواند به بهبود دقت تشخیص ناروانی‌ها کمک کند.
• شبکه همجوشی پویای چندوجهی، نقش مهمی در بهبود عملکرد مدل داشته است. این شبکه با ادغام پویای اطلاعات زبانی و صوتی، به مدل این امکان را داده است تا با توجه به ویژگی‌های خاص هر بیان گفتاری، بهترین ترکیب از اطلاعات را انتخاب کند.
• تحلیل کیفی نشان داده است که مدل پیشنهادی، برخلاف سیستم‌های مبتنی بر متن، کمتر تحت تأثیر همبستگی‌های نامربوط در داده‌ها قرار می‌گیرد. این به این دلیل است که مدل پیشنهادی از نشانه‌های اضافی از سیگنال‌های گفتاری استفاده می‌کند که به آن کمک می‌کند تا تصمیمات دقیق‌تری بگیرد.
• کدهای مربوط به این تحقیق به صورت عمومی در دسترس قرار گرفته‌اند که امکان بازتولید نتایج و استفاده از این مدل در تحقیقات آینده را فراهم می‌کند.

این تحقیق دارای کاربردها و دستاوردهای متعددی است:

• بهبود سیستم‌های تشخیص گفتار: تشخیص دقیق ناروانی‌ها می‌تواند به بهبود عملکرد سیستم‌های تشخیص گفتار کمک کند. با حذف ناروانی‌ها از متن، سیستم می‌تواند با دقت بیشتری کلمات اصلی را تشخیص دهد.
• بهبود سیستم‌های ترجمه ماشینی: ناروانی‌ها می‌توانند ترجمه ماشینی را دشوار کنند. با تشخیص و حذف ناروانی‌ها قبل از ترجمه، می‌توان کیفیت ترجمه را بهبود بخشید.
• بهبود درک زبان طبیعی: تشخیص ناروانی‌ها می‌تواند به سیستم‌های درک زبان طبیعی کمک کند تا منظور اصلی گوینده را بهتر درک کنند.
• کمک به افراد دارای اختلالات گفتاری: این تحقیق می‌تواند در توسعه ابزارهایی برای کمک به افراد دارای اختلالات گفتاری مانند لکنت زبان مفید باشد. با تشخیص و تحلیل ناروانی‌ها، می‌توان الگوهای گفتاری این افراد را شناسایی و راهکارهایی برای بهبود آن ارائه داد.
• ارائه یک معماری جدید برای پردازش چندوجهی: شبکه همجوشی پویای چندوجهی که در این مقاله پیشنهاد شده است، می‌تواند در سایر زمینه‌های پردازش چندوجهی نیز مورد استفاده قرار گیرد.

برای مثال، در یک سیستم پاسخگویی به سوالات، حذف ناروانی‌ها قبل از پردازش سوال می‌تواند منجر به پاسخ‌های دقیق‌تری شود. تصور کنید کاربری بپرسد: “ام… قیمت… قیمت بلیط هواپیما به تهران چقدره؟”. با حذف “ام…” و تکرار “قیمت”، سیستم می‌تواند به درستی متوجه سوال کاربر شده و به دنبال قیمت بلیط هواپیما به تهران بگردد.

مقاله حاضر، یک گام مهم در جهت بهبود تشخیص ناروانی در گفتار به شمار می‌رود. با ارائه یک معماری نوین چندوجهی که از اطلاعات زبانی و صوتی به طور همزمان استفاده می‌کند، نویسندگان توانسته‌اند به نتایج قابل توجهی دست یابند. این تحقیق نشان می‌دهد که استفاده از رویکردهای چندوجهی می‌تواند به حل بسیاری از مسائل پردازش زبان طبیعی کمک کند. با توجه به کاربردهای گسترده‌ی تشخیص ناروانی در سیستم‌های مختلف گفتاری، انتظار می‌رود که این تحقیق بتواند تأثیر مثبتی بر پیشرفت این حوزه داشته باشد. در نهایت، دسترسی عمومی به کدهای این تحقیق، امکان توسعه و بهبود بیشتر این مدل را برای محققان فراهم می‌کند.