۱. مقدمه و اهمیت تحقیق

در دنیای پیشرفته امروزی، تعامل انسان با ماشین از طریق زبان طبیعی، یکی از مهم‌ترین حوزه‌های تحقیقاتی در علوم کامپیوتر و هوش مصنوعی محسوب می‌شود. بازشناسی خودکار گفتار (ASR) که امکان تبدیل گفتار انسان به متن را فراهم می‌آورد، سنگ بنای بسیاری از کاربردهای نوآورانه از دستیارهای صوتی گرفته تا سیستم‌های تبدیل گفتار به نوشتار در جلسات و کنفرانس‌ها است. با پیشرفت‌های چشمگیر در مدل‌های زبانی بزرگ (LLMs)، به‌ویژه مدل‌هایی مبتنی بر معماری ترنسفورمر (Transformer) مانند GPT، GPT-2 و BERT، پتانسیل بهبود قابل توجهی در دقت سیستم‌های ASR نمایان شده است. این مدل‌ها که بر روی حجم عظیمی از داده‌های متنی آموزش دیده‌اند، قادر به درک عمیق‌تر الگوهای زبانی، واژگان و ساختار جملات هستند. مقاله حاضر به بررسی چگونگی تطبیق و به‌کارگیری این مدل‌های زبانی پیشرفته برای ارتقاء عملکرد سیستم‌های بازشناسی گفتار می‌پردازد و راهکاری نوین برای بهره‌برداری از توانمندی‌های مدل‌های زبانی دوطرفه (bidirectional) در این حوزه ارائه می‌دهد.

۲. نویسندگان و زمینه تحقیق

این مقاله علمی توسط پژوهشگرانی برجسته در زمینه پردازش زبان طبیعی و بازشناسی گفتار، شامل Xianrui Zheng، Chao Zhang و Philip C. Woodland ارائه شده است. نام پروفسور Philip C. Woodland در جامعه علمی بازشناسی گفتار نامی شناخته شده است و تحقیقات ایشان در دانشگاه کمبریج بر روی بهبود سیستم‌های ASR متمرکز بوده است. زمینه کلی تحقیق در این مقاله، التقای دو حوزه مهم هوش مصنوعی: پردازش زبان طبیعی (NLP) و بازشناسی گفتار (ASR) است. به‌طور خاص، تمرکز بر روی استفاده از مدل‌های زبانی قدرتمند که در ابتدا برای وظایف NLP طراحی شده بودند، در وظایف ASR قرار دارد. این پژوهش در دسته‌بندی‌های «محاسبات و زبان»، «صوت» و «پردازش صدا و گفتار» جای می‌گیرد.

۳. چکیده و خلاصه محتوا

مدل‌های زبانی که بر روی مقادیر عظیمی از متن پیش‌آموزش دیده‌اند، به‌ویژه نمایش‌های رمزگذاری شده دوطرفه از ترنسفورمرها (BERT) و تولید پیش‌آموزش (GPT و GPT-2)، به فناوری کلیدی برای بسیاری از وظایف پردازش زبان طبیعی تبدیل شده‌اند. در این مقاله، نتایج حاصل از تنظیم دقیق (fine-tuning) مدل‌های GPT، GPT-2 و ترکیب آن‌ها برای بازشناسی خودکار گفتار (ASR) ارائه می‌شود. نکته حائز اهمیت این است که بر خلاف مدل‌های یک‌طرفه مانند GPT و GPT-2، مدل BERT دوطرفه است و حاصلضرب مستقیم احتمالات خروجی آن دیگر یک احتمال اولیه زبانی معتبر نخواهد بود. برای رفع این چالش، یک روش تبدیل (conversion method) پیشنهاد شده است تا احتمال اولیه زبانی صحیح بر اساس خروجی‌های مدل زبانی دوطرفه به روشی دقیق از نظر ریاضی محاسبه شود. نتایج تجربی بر روی مجموعه داده‌های پرکاربرد AMI و Switchboard برای وظایف ASR نشان داد که ترکیب GPT و GPT-2 تنظیم شده، عملکردی بهتر از ترکیب سه مدل زبانی عصبی با معماری‌های متفاوت که از ابتدا بر روی متن دامنه مشابه آموزش دیده‌اند، از خود نشان داده و تا ۱۲٪ کاهش خطای واژگان (WERR) نسبی را به همراه داشته است. علاوه بر این، بر روی مجموعه داده AMI، روش تبدیل پیشنهادی برای احتمالات اولیه زبانی، به BERT امکان داد تا ۳٪ WERR نسبی اضافی کسب کند و ترکیب BERT، GPT و GPT-2 منجر به بهبودهای بیشتری شد.

۴. روش‌شناسی تحقیق

روش‌شناسی اصلی این تحقیق بر پایه «تنظیم دقیق» (fine-tuning) مدل‌های زبانی از پیش آموزش دیده و سپس ادغام آن‌ها در چارچوب سیستم‌های بازشناسی گفتار استوار است. مراحل اصلی به شرح زیر است:

• انتخاب مدل‌های زبانی: نویسندگان از سه مدل زبانی برجسته مبتنی بر ترنسفورمر استفاده کرده‌اند: GPT، GPT-2 و BERT. این مدل‌ها به دلیل توانایی‌شان در یادگیری بازنمایی‌های غنی از زبان، انتخاب شده‌اند.
• پیش‌آموزش و تنظیم دقیق (Pre-training and Fine-tuning): این مدل‌ها ابتدا بر روی حجم عظیمی از داده‌های متنی عمومی آموزش دیده‌اند (پیش‌آموزش). سپس، برای تطابق با حوزه تخصصی ASR، با استفاده از داده‌های متنی مرتبط با گفتار، «تنظیم دقیق» شده‌اند. این مرحله باعث می‌شود مدل‌ها با واژگان، سبک و ساختار زبان در کاربردهای گفتاری آشناتر شوند.
• چالش مدل‌های زبانی دوطرفه (BERT): مدل‌هایی مانند GPT و GPT-2 به صورت یک‌طرفه (unidirectional) عمل می‌کنند، یعنی هر کلمه تنها به کلمات قبلی خود توجه دارد. در مقابل، BERT به صورت دوطرفه (bidirectional) عمل کرده و به کلمات قبلی و بعدی توجه می‌کند. این ویژگی، اگرچه برای درک عمیق‌تر زبان مفید است، اما محاسبه «احتمال اولیه زبانی» (language prior probability) را که در ASR برای ترکیب اطلاعات آکوستیک و زبانی حیاتی است، پیچیده می‌کند.
• روش تبدیل احتمال اولیه زبانی (Proposed Conversion Method): نویسندگان یک روش ریاضی دقیق برای محاسبه احتمال اولیه زبانی صحیح از خروجی‌های مدل دوطرفه BERT پیشنهاد داده‌اند. این روش تضمین می‌کند که اطلاعات زبانی استخراج شده از BERT به درستی در فرآیند ASR ادغام شود، بدون اینکه اعتبار آماری آن از بین برود.
• ادغام در سیستم ASR: مدل‌های زبانی تنظیم شده (GPT، GPT-2 و BERT) به عنوان ماژول زبان در سیستم بازشناسی گفتار ادغام شده‌اند. در این سیستم‌ها، مدل زبان با مدل آکوستیک (که گفتار را به ویژگی‌های صوتی نگاشت می‌کند) همکاری کرده تا بهترین دنباله از کلمات را تولید کند.
• ترکیب مدل‌ها (Ensembling): برای دستیابی به حداکثر عملکرد، مدل‌های زبانی مختلف (GPT و GPT-2، یا ترکیب هر سه) با هم ترکیب (ensemble) شده‌اند. ترکیب مدل‌ها معمولاً منجر به نتایج قوی‌تر و پایدارتر نسبت به استفاده از یک مدل به تنهایی می‌شود.
• ارزیابی تجربی: عملکرد سیستم‌های توسعه یافته بر روی دو مجموعه داده استاندارد و شناخته شده در حوزه ASR، یعنی AMI و Switchboard، ارزیابی شده است. معیار اصلی ارزیابی، نرخ خطای واژگان (Word Error Rate – WER) است که معیاری رایج برای سنجش دقت سیستم‌های ASR است.

۵. یافته‌های کلیدی

نتایج این تحقیق نشان‌دهنده دستاوردهای قابل توجهی در به‌کارگیری مدل‌های زبانی پیشرفته در بازشناسی گفتار است:

• برتری ترکیب GPT و GPT-2: ترکیب مدل‌های GPT و GPT-2 که هر دو به صورت یک‌طرفه آموزش دیده‌اند، پس از تنظیم دقیق، عملکردی برتر نسبت به مدل‌های زبانی سنتی که از ابتدا بر روی داده‌های تخصصی آموزش دیده‌اند، از خود نشان داده است. این ترکیب توانسته است تا ۱۲٪ کاهش خطای واژگان نسبی (WERR) را در مقایسه با مدل‌های پایه به ارمغان آورد. این یافته نشان می‌دهد که توانایی یادگیری بازنمایی‌های زبانی غنی از طریق مدل‌های بزرگ، حتی در صورت یک‌طرفه بودن، مزیت قابل توجهی در ASR ایجاد می‌کند.
• اهمیت روش تبدیل برای BERT: روش نوآورانه محاسبه احتمال اولیه زبانی برای مدل دوطرفه BERT، توانسته است ۳٪ WERR اضافی را بر روی مجموعه داده AMI کسب کند. این امر تأییدی بر اهمیت و کارایی روش پیشنهادی در استفاده مؤثر از اطلاعات دوطرفه BERT در ASR است. بدون این تبدیل، استفاده از BERT در این چارچوب به طور کامل مؤثر نبود.
• مزیت ترکیب هر سه مدل: ادغام و ترکیب خروجی‌های هر سه مدل BERT، GPT و GPT-2 منجر به بهبودهای بیشتر در عملکرد سیستم ASR شده است. این نشان می‌دهد که هر یک از این مدل‌ها، جنبه‌های متفاوتی از زبان را آموخته‌اند و ترکیب آن‌ها قادر است پوشش زبانی کامل‌تری را فراهم کند.
• کارایی تنظیم دقیق بر روی داده‌های دامنه: نتایج بر روی مجموعه داده‌های AMI و Switchboard، که نماینده سناریوهای واقعی مکالمه و جلسات هستند، نشان‌دهنده کارایی بالای رویکرد «تنظیم دقیق» مدل‌های از پیش آموزش دیده بر روی داده‌های «درون دامنه» (in-domain) است.

۶. کاربردها و دستاوردها

دستاورد اصلی این تحقیق، ارائه یک چارچوب و روش‌شناسی مؤثر برای افزایش دقت سیستم‌های بازشناسی خودکار گفتار با بهره‌گیری از مدل‌های زبانی پیشرفته است. این یافته‌ها پیامدهای عملی مهمی دارند:

• سیستم‌های ASR دقیق‌تر: نتایج این پژوهش مستقیماً منجر به توسعه سیستم‌های ASR با دقت بالاتر خواهد شد. این امر برای کاربردهایی که نیاز به دقت بالا دارند، مانند مستندسازی پزشکی، گزارش‌دهی قانونی، و تولید زیرنویس برای محتوای رسانه‌ای، حیاتی است.
• دستیارهای صوتی هوشمندتر: با بهبود درک گفتار، دستیارهای صوتی (مانند Siri, Google Assistant, Alexa) قادر خواهند بود دستورات را دقیق‌تر فهمیده و پاسخ‌های مرتبط‌تری ارائه دهند، حتی در محیط‌های پر سر و صدا یا با لهجه‌های مختلف.
• ابزارهای تسهیل ارتباطات: سیستم‌های تبدیل گفتار به نوشتار در جلسات، کنفرانس‌ها و کلاس‌های درس، با استفاده از این فناوری، دقیق‌تر شده و اطلاعات را بهتر و سریع‌تر در اختیار کاربران قرار می‌دهند.
• تحلیل خودکار داده‌های صوتی: توانایی پردازش دقیق‌تر و تبدیل بهتر گفتار به متن، امکان تحلیل خودکار حجم عظیمی از داده‌های صوتی (مانند تماس‌های مرکز تلفن) را برای استخراج اطلاعات، تحلیل احساسات یا شناسایی روندها فراهم می‌آورد.
• پیشرفت در مدل‌های زبانی دوطرفه برای ASR: مقاله نه تنها به کاربرد، بلکه به حل چالش فنی استفاده از مدل‌های دوطرفه مانند BERT در ASR پرداخته و راهکاری عملی ارائه داده است. این خود گامی مهم در جهت استفاده کامل از توانایی‌های مدل‌های مدرن NLP در وظایف شنیداری است.

۷. نتیجه‌گیری

مقاله «به‌کارگیری مدل‌های زبانی GPT، GPT-2 و BERT در بازشناسی گفتار» نشان می‌دهد که مدل‌های زبانی مدرن، به‌ویژه آن‌هایی که بر پایه معماری ترنسفورمر بنا شده‌اند، پتانسیل بسیار بالایی برای ارتقاء قابل توجه عملکرد سیستم‌های بازشناسی خودکار گفتار دارند. نویسندگان با موفقیت نشان داده‌اند که تنظیم دقیق مدل‌های GPT و GPT-2 و ترکیب آن‌ها می‌تواند منجر به بهبود چشمگیر در کاهش خطای واژگان شود. همچنین، با ابداع یک روش نوین برای محاسبه احتمالات اولیه زبانی، توانسته‌اند چالش استفاده از مدل‌های دوطرفه مانند BERT را در ASR برطرف کرده و حتی در برخی موارد، عملکرد را بیشتر بهبود بخشند. ترکیب این مدل‌ها، مسیری امیدوارکننده برای دستیابی به سیستم‌های ASR دقیق‌تر، قوی‌تر و توانمندتر در آینده ترسیم می‌کند که می‌تواند تأثیر بسزایی بر نحوه تعامل ما با فناوری و دنیای اطرافمان داشته باشد.