ترجمه فارسی مقاله تصحیح خطای تولیدی مبتنی بر مدل زبان بزرگ: چالش و پایه‌ای برای تشخیص گفتار، برچسب‌گذاری گوینده، و تشخیص احساسات

چکیده

Given recent advances in generative AI technology, a key question is how large language models (LLMs) can enhance acoustic modeling tasks using text decoding results from a frozen, pretrained automatic speech recognition (ASR) model. To explore new capabilities in language modeling for speech processing, we introduce the generative speech transcription error correction (GenSEC) challenge. This challenge comprises three post-ASR language modeling tasks: (i) post-ASR transcription correction, (ii) speaker tagging, and (iii) emotion recognition. These tasks aim to emulate future LLM-based agents handling voice-based interfaces while remaining accessible to a broad audience by utilizing open pretrained language models or agent-based APIs. We also discuss insights from baseline evaluations, as well as lessons learned for designing future evaluations.

چکیده به فارسی (ترجمه ماشینی)

با توجه به پیشرفت های اخیر در فناوری AI تولید کننده ، یک سؤال اساسی این است که چگونه مدل های بزرگ زبان (LLMS) می توانند وظایف مدل سازی آکوستیک را با استفاده از نتایج رمزگشایی متن از یک مدل تشخیص گفتار اتوماتیک منجمد (ASR) تقویت کنند.برای کشف قابلیت های جدید در مدل سازی زبان برای پردازش گفتار ، ما چالش اصلاح خطای رونویسی گفتار (GENSEC) را معرفی می کنیم.این چالش شامل سه وظیفه مدل سازی زبان پس از ASR است: (i) تصحیح رونویسی پس از ASR ، (ب) برچسب زدن بلندگو ، و (iii) تشخیص احساسات.این کارها با هدف تقلید از عوامل مستقر در LLM آینده که با استفاده از مدل های زبان باز شده یا API های مبتنی بر عامل ، در دسترس مخاطبان گسترده ای هستند.ما همچنین در مورد بینش از ارزیابی های پایه و همچنین درسهای آموخته شده برای طراحی ارزیابی های آینده بحث می کنیم.