در سال‌های اخیر، پیشرفت‌های چشمگیری در زمینه هوش مصنوعی و به‌ویژه در درک و پردازش زبان و صوت حاصل شده است. با این حال، ادغام این دو حوزه و بهره‌گیری از آن‌ها به‌صورت همزمان برای حل مسائل پیچیده‌تر، همچنان با چالش‌هایی روبرو است. مقاله حاضر با عنوان CTAL: پیش‌آموزش ترانسفورمر میان‌وجهی برای بازنمایی‌های صوتی-زبانی، رویکرد نوینی را برای یادگیری ارتباطات بین اطلاعات صوتی و زبانی ارائه می‌دهد که می‌تواند عملکرد مدل‌ها را در وظایف مختلف بهبود بخشد.

این مقاله توسط Hang Li, Yu Kang, Tianqiao Liu, Wenbiao Ding, و Zitao Liu نوشته شده است. این محققان در زمینه هوش مصنوعی، پردازش زبان طبیعی (NLP)، و پردازش سیگنال‌های صوتی فعالیت دارند. تمرکز اصلی این گروه تحقیقاتی، توسعه مدل‌های یادگیری ماشین است که قادر به درک و پردازش داده‌های چندوجهی (Multimodal) از جمله صوت و زبان باشند. به عبارت دیگر، آن‌ها سعی دارند تا ماشین‌ها را قادر سازند تا همانند انسان‌ها، از طریق شنیدن و خواندن، اطلاعات را به طور یکپارچه درک کنند.

مسئله اصلی که در این مقاله مورد بررسی قرار گرفته، محدودیت‌های مدل‌های موجود در ادغام اطلاعات صوتی و زبانی است. روش‌های مرسوم اغلب از مکانیسم‌های ادغام دیرهنگام (Late-Fusion) پیچیده استفاده می‌کنند که باعث می‌شود مدل‌ها به داده‌های آموزشی وابستگی زیادی پیدا کنند (Overfitting) و توانایی تعمیم‌دهی آن‌ها به داده‌های جدید کاهش یابد. به منظور رفع این مشکل، نویسندگان مقاله CTAL را پیشنهاد داده‌اند. CTAL یک ترانسفورمر میان‌وجهی (Cross-modal Transformer) است که با هدف یادگیری ارتباطات درون‌وجهی (Intra-modality) و میان‌وجهی (Inter-modality) بین صوت و زبان طراحی شده است.

CTAL از دو وظیفه جانبی (Proxy Tasks) برای پیش‌آموزش (Pre-training) استفاده می‌کند:

• مدل‌سازی زبان پنهان (Masked Language Modeling): این وظیفه به مدل کمک می‌کند تا با پنهان کردن برخی از کلمات در متن، روابط بین کلمات مختلف و ساختار زبان را یاد بگیرد.
• مدل‌سازی آکوستیکی میان‌وجهی پنهان (Masked Cross-modal Acoustic Modeling): این وظیفه به مدل کمک می‌کند تا با پنهان کردن بخشی از اطلاعات صوتی، ارتباط بین صوت و متن مربوطه را یاد بگیرد و بتواند اطلاعات صوتی از دست رفته را از روی متن حدس بزند و بالعکس.

پس از پیش‌آموزش، مدل CTAL بر روی وظایف مختلف پایین‌دستی (Downstream Tasks) مانند تشخیص احساسات، تحلیل احساسات (Sentiment Analysis) و تشخیص هویت گوینده (Speaker Verification) تنظیم دقیق (Fine-tuning) می‌شود. نتایج نشان می‌دهد که CTAL در این وظایف به طور قابل توجهی بهتر از مدل‌های موجود عمل می‌کند. همچنین، نویسندگان یک مکانیسم ادغام ویژه را در مرحله تنظیم دقیق پیشنهاد می‌کنند که باعث بهبود عملکرد مدل می‌شود. مطالعات حذف (Ablation Studies) نشان می‌دهد که هر دو جزء اصلی CTAL، یعنی روش پیش‌آموزش صوتی-زبانی و مکانیسم ادغام میان‌وجهی، نقش مهمی در دستیابی به نتایج مطلوب ایفا می‌کنند.

روش‌شناسی تحقیق در این مقاله شامل مراحل زیر است:

1. طراحی معماری CTAL: نویسندگان یک معماری ترانسفورمر جدید را طراحی کردند که قادر به پردازش همزمان اطلاعات صوتی و زبانی است. این معماری شامل لایه‌های خودتوجهی (Self-Attention) و توجه متقابل (Cross-Attention) است که به مدل کمک می‌کند تا روابط بین عناصر مختلف در هر دو وجه صوتی و زبانی را یاد بگیرد.
2. پیش‌آموزش مدل: مدل CTAL با استفاده از دو وظیفه جانبی مدل‌سازی زبان پنهان و مدل‌سازی آکوستیکی میان‌وجهی پنهان بر روی یک مجموعه داده بزرگ از جفت‌های صوتی و زبانی پیش‌آموزش داده شد. این مجموعه داده شامل سخنرانی‌ها، پادکست‌ها و سایر محتواهای صوتی همراه با متن‌های مربوطه بود.
3. تنظیم دقیق بر روی وظایف پایین‌دستی: پس از پیش‌آموزش، مدل CTAL بر روی چندین وظیفه پایین‌دستی تنظیم دقیق شد. این وظایف شامل تشخیص احساسات در گفتار، تحلیل احساسات در متن و تشخیص هویت گوینده بود.
4. ارزیابی عملکرد مدل: عملکرد مدل CTAL در هر یک از وظایف پایین‌دستی با استفاده از معیارهای ارزیابی مناسب مانند دقت (Accuracy)، F1-Score و AUC مورد ارزیابی قرار گرفت. نتایج CTAL با نتایج مدل‌های موجود مقایسه شد.
5. مطالعات حذف: برای بررسی اهمیت هر یک از اجزای CTAL، مطالعات حذف انجام شد. در این مطالعات، یک یا چند جزء از مدل حذف شده و عملکرد مدل مجدداً ارزیابی شد.

به عنوان مثال، برای درک بهتر مکانیسم مدل‌سازی آکوستیکی میان‌وجهی پنهان، تصور کنید که یک جمله داریم: “من بسیار خوشحالم که امروز هوا آفتابی است” و همزمان فایل صوتی مربوط به این جمله را نیز در اختیار داریم. در این وظیفه، بخشی از اطلاعات صوتی، مثلاً بخش مربوط به کلمه “آفتابی” را پنهان می‌کنیم و به مدل CTAL آموزش می‌دهیم تا با توجه به متن جمله و سایر بخش‌های صوتی، اطلاعات صوتی از دست رفته (بخش مربوط به کلمه “آفتابی”) را بازسازی کند. این فرآیند به مدل کمک می‌کند تا ارتباط نزدیکی بین صوت و متن برقرار کند.

یافته‌های کلیدی این مقاله عبارتند از:

• CTAL در وظایف مختلف صوتی-زبانی به طور قابل توجهی بهتر از مدل‌های موجود عمل می‌کند. این بهبود عملکرد نشان می‌دهد که پیش‌آموزش مدل بر روی یک مجموعه داده بزرگ و استفاده از وظایف جانبی مناسب، می‌تواند به یادگیری بازنمایی‌های قوی‌تر و قابل تعمیم‌تر منجر شود.
• مکانیسم ادغام ویژه پیشنهادی در مرحله تنظیم دقیق، عملکرد مدل را بهبود می‌بخشد. این مکانیسم به مدل کمک می‌کند تا اطلاعات صوتی و زبانی را به طور موثرتری با یکدیگر ادغام کند و از مزایای هر دو وجه بهره‌مند شود.
• مطالعات حذف نشان می‌دهد که هر دو جزء اصلی CTAL، یعنی روش پیش‌آموزش صوتی-زبانی و مکانیسم ادغام میان‌وجهی، نقش مهمی در دستیابی به نتایج مطلوب ایفا می‌کنند. حذف هر یک از این اجزا باعث کاهش عملکرد مدل می‌شود.
• مدل CTAL در وظایفی مانند تشخیص احساسات، قادر به شناسایی ظرایف احساسی در گفتار است که مدل‌های مبتنی بر متن به تنهایی قادر به تشخیص آن نیستند. برای مثال، CTAL می‌تواند لحن صدا و تن صدا را در نظر بگیرد و احساسات پنهان در گفتار را تشخیص دهد.

کاربردها و دستاوردهای این تحقیق عبارتند از:

• بهبود عملکرد در وظایف تشخیص احساسات، تحلیل احساسات و تشخیص هویت گوینده: مدل CTAL می‌تواند در این وظایف با دقت و کارایی بالاتری عمل کند.
• توسعه سیستم‌های هوشمندتر و کاربردی‌تر: با استفاده از CTAL، می‌توان سیستم‌هایی را توسعه داد که قادر به درک بهتر و پاسخگویی مناسب‌تر به کاربران باشند. برای مثال، می‌توان از CTAL در توسعه دستیارهای صوتی هوشمند، سیستم‌های پاسخگویی خودکار و سیستم‌های نظارت بر سلامت روان استفاده کرد.
• ارائه یک چارچوب جدید برای یادگیری بازنمایی‌های صوتی-زبانی: CTAL می‌تواند به عنوان یک چارچوب پایه برای تحقیقات آینده در این زمینه مورد استفاده قرار گیرد.
• امکان توسعه مدل‌های چندوجهی قوی‌تر: نتایج این تحقیق نشان می‌دهد که پیش‌آموزش مدل‌ها بر روی داده‌های چندوجهی می‌تواند به یادگیری بازنمایی‌های قوی‌تر و قابل تعمیم‌تر منجر شود. این امر می‌تواند در توسعه مدل‌های چندوجهی برای سایر حوزه‌ها مانند پردازش تصویر و ویدئو نیز مفید باشد.

به عنوان یک مثال عملی، تصور کنید که یک شرکت خدمات مشتری قصد دارد یک سیستم پاسخگویی خودکار مبتنی بر هوش مصنوعی راه‌اندازی کند. با استفاده از CTAL، این سیستم می‌تواند به طور دقیق‌تری احساسات مشتریان را از روی صدای آن‌ها تشخیص دهد و پاسخ‌های مناسب‌تری را ارائه دهد. برای مثال، اگر مشتری عصبانی باشد، سیستم می‌تواند با لحنی آرام و همدلانه با او صحبت کند و سعی کند مشکل او را حل کند.

مقاله CTAL یک گام مهم در جهت توسعه مدل‌های هوش مصنوعی است که قادر به درک و پردازش همزمان اطلاعات صوتی و زبانی هستند. این مدل با استفاده از یک رویکرد پیش‌آموزشی نوآورانه و یک مکانیسم ادغام ویژه، توانسته است عملکرد قابل توجهی در وظایف مختلف صوتی-زبانی از خود نشان دهد. نتایج این تحقیق می‌تواند در توسعه سیستم‌های هوشمندتر و کاربردی‌تر در زمینه‌های مختلف مانند خدمات مشتری، مراقبت‌های بهداشتی و آموزش مورد استفاده قرار گیرد. با توجه به اهمیت روزافزون داده‌های چندوجهی، تحقیقات بیشتر در این زمینه می‌تواند به پیشرفت‌های چشمگیری در هوش مصنوعی منجر شود. همچنین، بررسی اثرات سوگیری (Bias) در داده‌های صوتی و زبانی و تلاش برای کاهش آن در مدل‌های چندوجهی، یک گام ضروری برای اطمینان از انصاف و عدالت در استفاده از این مدل‌ها است.