چکیده مقاله، یک مرور کلی از چالش‌ها و راه‌حل‌های ارائه شده را در اختیار ما قرار می‌دهد. سیستم‌های بازشناسی گفتار متعارف، علائم نقطه‌گذاری را تولید نمی‌کنند و این امر، خوانایی متن و کاربرد آن را در وظایف NLP بعدی محدود می‌کند. در حالی که کارهای زیادی در مورد مدل‌های پیش‌بینی نقطه‌گذاری انجام شده است که به‌عنوان پس‌پردازش به نتایج بازشناسی گفتار اضافه می‌شوند، این مدل‌ها اغلب از اطلاعات آکوستیکی استفاده نمی‌کنند و تحت تأثیر مستقیم خطاهای بازشناسی گفتار قرار دارند.

این مقاله، یک مدل “از ابتدا تا انتها” (end-to-end) را معرفی می‌کند که گفتار را به‌عنوان ورودی دریافت کرده و متن نقطه‌گذاری‌شده را تولید می‌کند. این مدل با استفاده از اطلاعات آکوستیکی، پیش‌بینی نقطه‌گذاری را در برابر خطاهای بازشناسی گفتار مقاوم می‌سازد. همچنین، یک تلفیق کمکی (auxiliary loss) برای آموزش مدل با استفاده از خروجی لایه میانی و متون بدون نقطه‌گذاری پیشنهاد شده است.

نتایج آزمایش‌ها نشان می‌دهد که مدل پیشنهادی، دقت پیش‌بینی نقطه‌گذاری بالاتری نسبت به سیستم‌های طبقه‌بندی‌شده (cascaded) دارد و نرخ خطای بازشناسی گفتار را کاهش نمی‌دهد. علاوه بر این، یادگیری چند وظیفه‌ای (multi-task learning) با استفاده از خروجی میانی در برابر متن بدون نقطه‌گذاری مؤثر است. مدل پیشنهادی همچنین حدود یک هفتم پارامترهای سیستم طبقه‌بندی‌شده را دارد، که نشان‌دهنده کارایی بیشتر آن است.

الف) معماری مدل

مدل پیشنهادی، یک شبکه عصبی عمیق است که از اطلاعات آکوستیکی و زبانی برای تولید متن نقطه‌گذاری‌شده استفاده می‌کند. معماری کلی مدل به شرح زیر است:

• لایه ورودی: گفتار به‌صورت سیگنال‌های صوتی وارد می‌شود.
• لایه استخراج ویژگی (Feature Extraction Layer): این لایه، ویژگی‌های آکوستیکی را از سیگنال گفتار استخراج می‌کند. این ویژگی‌ها می‌توانند شامل طیف‌نگاشت‌ها (spectrograms) یا سایر ویژگی‌های مهندسی‌شده باشند.
• لایه رمزگذار (Encoder Layer): این لایه، دنباله‌ای از ویژگی‌های آکوستیکی را به یک بازنمایی با ابعاد ثابت تبدیل می‌کند. این کار، با استفاده از شبکه‌های عصبی بازگشتی (RNN) یا مکانیسم‌های توجه (attention mechanisms) انجام می‌شود.
• لایه رمزگشا (Decoder Layer): این لایه، متن نقطه‌گذاری‌شده را از بازنمایی رمزگذاری‌شده تولید می‌کند. این لایه، معمولاً از RNNها یا مدل‌های مبتنی بر توجه استفاده می‌کند.
• لایه پیش‌بینی نقطه‌گذاری: این لایه، علائم نقطه‌گذاری را در مکان‌های مناسب متن قرار می‌دهد.

ب) آموزش مدل

مدل با استفاده از یک مجموعه داده بزرگ از گفتار و متن‌های نقطه‌گذاری‌شده آموزش داده می‌شود. نویسندگان از روش‌های زیر برای آموزش مدل استفاده کرده‌اند:

• تابع زیان (Loss Function): یک تابع زیان، برای اندازه‌گیری تفاوت بین متن تولید شده توسط مدل و متن واقعی نقطه‌گذاری‌شده استفاده می‌شود.
• یادگیری چند وظیفه‌ای (Multi-task Learning): یک تلفیق کمکی (auxiliary loss) برای آموزش مدل با استفاده از خروجی لایه میانی و متون بدون نقطه‌گذاری اعمال شده است. این رویکرد به مدل کمک می‌کند تا بازنمایی‌های بهتری از زبان را یاد بگیرد.
• بهینه‌سازی (Optimization): از الگوریتم‌های بهینه‌سازی استاندارد، مانند Adam، برای تنظیم وزن‌های مدل استفاده می‌شود.

ج) ارزیابی مدل

عملکرد مدل با استفاده از معیارهای مختلف ارزیابی می‌شود:

• دقت پیش‌بینی نقطه‌گذاری: این معیار، درصد علائم نقطه‌گذاری صحیح پیش‌بینی‌شده را اندازه‌گیری می‌کند.
• نرخ خطای کلمه (WER) و نرخ خطای جمله (SER): این معیارها، دقت بازشناسی گفتار را اندازه‌گیری می‌کنند.
• مقایسه با سیستم‌های طبقه‌بندی‌شده: مدل پیشنهادی با سیستم‌های طبقه‌بندی‌شده مقایسه می‌شود تا اثربخشی آن ارزیابی شود.

• عملکرد بهتر در پیش‌بینی نقطه‌گذاری: مدل پیشنهادی، دقت پیش‌بینی نقطه‌گذاری بالاتری نسبت به سیستم‌های طبقه‌بندی‌شده (cascaded) دارد. این بدان معناست که مدل، علائم نقطه‌گذاری را با دقت بیشتری در متن قرار می‌دهد.
• عدم کاهش دقت بازشناسی گفتار: مدل پیشنهادی، نرخ خطای بازشناسی گفتار را افزایش نمی‌دهد. این یک دستاورد مهم است، زیرا به این معنی است که مدل، عملکرد بازشناسی گفتار را قربانی نمی‌کند.
• کارایی در یادگیری چند وظیفه‌ای: یادگیری چند وظیفه‌ای با استفاده از خروجی میانی و متن بدون نقطه‌گذاری، به بهبود عملکرد مدل کمک می‌کند. این نشان می‌دهد که مدل، قادر به یادگیری بازنمایی‌های بهتری از زبان است.
• کاهش تعداد پارامترها: مدل پیشنهادی، حدود یک هفتم پارامترهای سیستم طبقه‌بندی‌شده را دارد. این نشان‌دهنده کارایی محاسباتی بیشتر مدل است.

الف) دستیارهای صوتی و منشی‌های هوشمند: این فناوری می‌تواند در بهبود عملکرد دستیارهای صوتی مانند سیری، الکسا و گوگل اسیستنت، و همچنین منشی‌های هوشمند، که در حال تبدیل گفتار به متن برای نوشتن یادداشت‌ها، برنامه‌ریزی و مدیریت وظایف هستند، استفاده شود. با اضافه شدن علائم نقطه‌گذاری، این سیستم‌ها می‌توانند پاسخ‌های دقیق‌تر و قابل‌فهم‌تری ارائه دهند.

ب) ترجمه ماشینی: علائم نقطه‌گذاری برای ترجمه ماشینی ضروری هستند. این فناوری می‌تواند کیفیت ترجمه را بهبود بخشد، زیرا ساختار جملات را حفظ می‌کند و به درک صحیح‌تر معنی کمک می‌کند.

ج) تولید زیرنویس: این فناوری می‌تواند در تولید زیرنویس برای فیلم‌ها، برنامه‌های تلویزیونی و پادکست‌ها استفاده شود. زیرنویس‌های تولیدشده با استفاده از این فناوری، خواناتر و قابل‌فهم‌تر خواهند بود.

د) پردازش متن برای افراد دارای معلولیت: این فناوری می‌تواند در تولید متن از گفتار برای افراد دارای معلولیت، مانند ناشنوایان، استفاده شود. متن‌های نقطه‌گذاری‌شده، دسترسی به اطلاعات را برای این افراد تسهیل می‌کند.

ه) تجزیه و تحلیل احساسات و نظرات: با استفاده از متن‌های نقطه‌گذاری‌شده، می‌توان تجزیه و تحلیل احساسات و نظرات را با دقت بیشتری انجام داد. این امر در زمینه‌هایی مانند بازاریابی، تحقیق بازار و مدیریت شهرت، کاربرد دارد.