مقاله به سوی مدل‌سازی عدم روانی زبان گفتاری سلسله مراتبی

چکیده

Speech dysfluency modeling is the bottleneck for both speech therapy and language learning. However, there is no AI solution to systematically tackle this problem. We first propose to define the concept of dysfluent speech and dysfluent speech modeling. We then present Hierarchical Unconstrained Dysfluency Modeling (H-UDM) approach that addresses both dysfluency transcription and detection to eliminate the need for extensive manual annotation. Furthermore, we introduce a simulated dysfluent dataset called VCTK++ to enhance the capabilities of H-UDM in phonetic transcription. Our experimental results demonstrate the effectiveness and robustness of our proposed methods in both transcription and detection tasks.

چکیده به فارسی (ترجمه ماشینی)

مدل سازی سوء هاضمه گفتار تنگنا برای گفتاردرمانی و یادگیری زبان است.با این حال ، هیچ راه حل هوش مصنوعی برای مقابله منظم با این مشکل وجود ندارد.ما ابتدا پیشنهاد می کنیم که مفهوم گفتار دیسفلنت و مدل سازی گفتار سوء استفاده را تعریف کنیم.سپس ما رویکرد مدل سازی عدم تسویه حساب های سلسله مراتبی (H-UDM) را ارائه می دهیم که به رونویسی سوء هاضمه و تشخیص هم می پردازد تا نیاز به حاشیه نویسی گسترده دستی را از بین ببرد.علاوه بر این ، ما یک مجموعه داده دیسفلوژنت شبیه سازی شده به نام VCTK ++ را برای تقویت قابلیت های H-UDM در رونویسی آوایی معرفی می کنیم.نتایج تجربی ما اثربخشی و استحکام روشهای پیشنهادی ما را در هر دو کار رونویسی و تشخیص نشان می دهد.