بازشناسی گفتار (ASR) به عنوان یک فناوری کلیدی در تعامل انسان و رایانه، روز به روز اهمیت بیشتری پیدا می‌کند. از دستیارهای صوتی هوشمند گرفته تا سیستم‌های اتوماسیون مبتنی بر صدا، کاربردهای این فناوری در حال گسترش است. با این حال، دقت بازشناسی گفتار همچنان یک چالش اساسی است. مدل‌های زبانی، نقش حیاتی در افزایش دقت این سیستم‌ها ایفا می‌کنند. مقاله حاضر، یک رویکرد نوآورانه برای بهبود مدل‌های زبانی در سیستم‌های بازشناسی گفتار را ارائه می‌دهد که بر پایه مدل زبانی قدرتمند BERT (Bidirectional Encoder Representations from Transformers) استوار است.

این مقاله با عنوان “مدل‌های زبانی نوآورانه مبتنی بر برت برای بازرتبه‌بندی در بازشناسی گفتار”، به بررسی کاربرد مدل زبانی BERT در بهبود عملکرد سیستم‌های بازشناسی گفتار می‌پردازد. اهمیت این تحقیق در این است که BERT، به دلیل توانایی بالای خود در درک متن و مدل‌سازی وابستگی‌های کلمات در یک جمله، پتانسیل زیادی برای افزایش دقت سیستم‌های ASR دارد. بازرتبه‌بندی فرضیه‌های N-بهترین (N-best hypothesis reranking) یکی از مراحل کلیدی در سیستم‌های ASR است که در آن، خروجی‌های احتمالی تولید شده توسط سیستم، مجدداً ارزیابی و رتبه‌بندی می‌شوند تا بهترین خروجی انتخاب شود. این مقاله، روشی جدید برای استفاده از BERT در این مرحله ارائه می‌دهد.

این مقاله توسط Shih-Hsuan Chiu و Berlin Chen نوشته شده است. زمینه تحقیقاتی این نویسندگان، شامل پردازش زبان طبیعی (NLP) و به طور خاص، بازشناسی گفتار و مدل‌های زبانی است. تخصص آن‌ها در این حوزه‌ها، به آن‌ها این امکان را داده است که یک رویکرد نوآورانه و کارآمد برای استفاده از BERT در سیستم‌های ASR ارائه دهند.

مقاله حاضر، بر پایه موفقیت‌های چشمگیر مدل BERT در حوزه‌های مختلف پردازش زبان طبیعی، یک روش جدید برای استفاده از این مدل در بازرتبه‌بندی فرضیه‌های N-بهترین در سیستم‌های بازشناسی گفتار ارائه می‌دهد. ایده اصلی این است که با استفاده از BERT، فرضیه‌های N-بهترین تولید شده توسط سیستم ASR را مجدداً ارزیابی کرده و فرضیه‌ای که کمترین نرخ خطای کلمه (WER) را دارد، به عنوان خروجی نهایی انتخاب کنیم. نویسندگان، این مسئله را به عنوان یک مسئله پیش‌بینی (prediction problem) با نام PBERT فرموله کرده‌اند. علاوه بر این، آن‌ها روشی برای استفاده از اطلاعات موضوعی (topic information) در بازرتبه‌بندی فرضیه‌ها ارائه داده‌اند که با عنوان TPBERT شناخته می‌شود. نتایج آزمایش‌ها بر روی مجموعه داده AMI نشان می‌دهد که روش‌های پیشنهادی، عملکرد بهتری نسبت به مدل‌های زبانی سنتی مانند شبکه‌های عصبی بازگشتی (RNN) و روش‌های مبتنی بر محاسبه شبه-احتمال (PLL) دارند.

روش‌شناسی این تحقیق شامل چندین مرحله کلیدی است:

• آماده‌سازی داده: جمع‌آوری و آماده‌سازی مجموعه داده AMI برای آموزش و ارزیابی مدل‌ها.
• آموزش مدل BERT: آموزش مدل BERT بر روی داده‌های زبانی موجود به منظور ایجاد یک مدل زبانی قوی.
• فرموله‌بندی مسئله بازرتبه‌بندی: تعریف مسئله بازرتبه‌بندی فرضیه‌های N-بهترین به عنوان یک مسئله پیش‌بینی با استفاده از مدل BERT (PBERT). در این مرحله، مدل BERT آموزش داده می‌شود تا با دریافت N فرضیه، بهترین فرضیه را با کمترین نرخ خطای کلمه پیش‌بینی کند.
• استفاده از اطلاعات موضوعی: استفاده از روش‌های یادگیری بدون نظارت برای استخراج اطلاعات موضوعی از متن و ترکیب این اطلاعات با مدل BERT (TPBERT). این کار به مدل کمک می‌کند تا فرضیه‌هایی را که با موضوع کلی متن سازگارتر هستند، بهتر ارزیابی کند. به عنوان مثال، اگر متن در مورد “هواشناسی” باشد، مدل TPBERT به فرضیه‌هایی که حاوی کلمات مربوط به هواشناسی هستند (مانند “باران”، “دما” و “هوا”) وزن بیشتری می‌دهد.
• ارزیابی مدل‌ها: ارزیابی عملکرد مدل‌های PBERT و TPBERT بر روی مجموعه داده AMI و مقایسه نتایج با مدل‌های زبانی سنتی و روش‌های مبتنی بر PLL.

برای مثال، فرض کنید سیستم ASR، پنج فرضیه زیر را برای یک جمله تولید کرده است:

1. “The cat sat on the mat.” (گربه روی حصیر نشست.)
2. “The hat sat on the mat.” (کلاه روی حصیر نشست.)
3. “The cat sat on the map.” (گربه روی نقشه نشست.)
4. “That cat sat on the mat.” (آن گربه روی حصیر نشست.)
5. “The fat sat on the mat.” (چربی روی حصیر نشست.)

مدل PBERT با استفاده از دانش زبانی خود، می‌تواند تشخیص دهد که فرضیه شماره 1 (The cat sat on the mat) محتمل‌ترین و صحیح‌ترین فرضیه است، زیرا با ساختار گرامری و معنایی زبان انگلیسی سازگارتر است. مدل TPBERT، علاوه بر این، می‌تواند از اطلاعات موضوعی متن نیز استفاده کند. به عنوان مثال، اگر متن در مورد “حیوانات خانگی” باشد، مدل TPBERT به فرضیه شماره 1 نسبت به سایر فرضیه‌ها وزن بیشتری می‌دهد.

یافته‌های کلیدی این تحقیق عبارتند از:

• مدل‌های مبتنی بر BERT (PBERT و TPBERT) عملکرد بهتری نسبت به مدل‌های زبانی سنتی (RNN) در بازرتبه‌بندی فرضیه‌های N-بهترین دارند.
• استفاده از اطلاعات موضوعی (TPBERT) می‌تواند عملکرد مدل BERT را بهبود بخشد.
• روش‌های پیشنهادی، نرخ خطای کلمه (WER) را در سیستم‌های ASR کاهش می‌دهند.
• مدل TPBERT توانست به طور میانگین 10 درصد نرخ خطای کلمه را نسبت به مدل پایه RNN کاهش دهد.

این نتایج نشان می‌دهند که BERT، یک مدل زبانی بسیار قدرتمند است که می‌تواند به طور قابل توجهی عملکرد سیستم‌های بازشناسی گفتار را بهبود بخشد.

این تحقیق، دستاوردها و کاربردهای متعددی دارد:

• بهبود دقت سیستم‌های ASR: استفاده از روش‌های پیشنهادی می‌تواند دقت سیستم‌های بازشناسی گفتار را در کاربردهای مختلف، از جمله دستیارهای صوتی، سیستم‌های اتوماسیون مبتنی بر صدا و نرم‌افزارهای تبدیل گفتار به متن، بهبود بخشد.
• ارائه یک رویکرد جدید برای استفاده از BERT در ASR: این مقاله، یک روش نوآورانه برای استفاده از مدل BERT در بازرتبه‌بندی فرضیه‌های N-بهترین ارائه می‌دهد که می‌تواند به عنوان پایه ای برای تحقیقات بیشتر در این زمینه مورد استفاده قرار گیرد.
• توسعه مدل‌های زبانی بهتر: استفاده از اطلاعات موضوعی در مدل‌های زبانی، یک ایده جدید است که می‌تواند به توسعه مدل‌های زبانی هوشمندتر و کارآمدتر منجر شود.
• کاهش هزینه محاسباتی: در مقایسه با آموزش مدل‌های زبانی پیچیده از ابتدا، استفاده از رویکرد fine-tuning برت، می‌تواند زمان و هزینه محاسباتی را به طور قابل توجهی کاهش دهد.

به طور کلی، این تحقیق، یک گام مهم در جهت توسعه سیستم‌های بازشناسی گفتار دقیق‌تر و کارآمدتر است.

مقاله حاضر، یک رویکرد نوآورانه برای استفاده از مدل زبانی BERT در بازرتبه‌بندی فرضیه‌های N-بهترین در سیستم‌های بازشناسی گفتار ارائه می‌دهد. نتایج آزمایش‌ها نشان می‌دهد که روش‌های پیشنهادی، عملکرد بهتری نسبت به مدل‌های زبانی سنتی دارند و می‌توانند به طور قابل توجهی دقت سیستم‌های ASR را بهبود بخشند. این تحقیق، یک گام مهم در جهت توسعه سیستم‌های بازشناسی گفتار دقیق‌تر و کارآمدتر است و می‌تواند به عنوان پایه‌ای برای تحقیقات بیشتر در این زمینه مورد استفاده قرار گیرد. با توجه به پیشرفت‌های سریع در زمینه مدل‌های زبانی مبتنی بر ترانسفورمر، انتظار می‌رود که در آینده شاهد کاربردهای گسترده‌تری از این مدل‌ها در سیستم‌های بازشناسی گفتار باشیم. این امر، منجر به ایجاد سیستم‌های تعامل انسان و رایانه طبیعی‌تر و کارآمدتر خواهد شد.