ترجمه فارسی مقاله چارچوبی برای گردآوری مجموعه داده‌های گفتار و ارزیابی سیستم‌های ASR: مطالعه موردی برای لهستانی

چکیده

Speech datasets available in the public domain are often underutilized because of challenges in discoverability and interoperability. A comprehensive framework has been designed to survey, catalog, and curate available speech datasets, which allows replicable evaluation of automatic speech recognition (ASR) systems. A case study focused on the Polish language was conducted; the framework was applied to curate more than 24 datasets and evaluate 25 combinations of ASR systems and models. This research constitutes the most extensive comparison to date of both commercial and free ASR systems for the Polish language. It draws insights from 600 system-model-test set evaluations, marking a significant advancement in both scale and comprehensiveness. The results of surveys and performance comparisons are available as interactive dashboards (https://huggingface.co/spaces/amu-cai/pl-asr-leaderboard) along with curated datasets (https://huggingface.co/datasets/amu-cai/pl-asr-bigos-v2, https://huggingface.co/datasets/pelcra/pl-asr-pelcra-for-bigos) and the open challenge call (https://poleval.pl/tasks/task3). Tools used for evaluation are open-sourced (https://github.com/goodmike31/pl-asr-bigos-tools), facilitating replication and adaptation for other languages, as well as continuous expansion with new datasets and systems.

چکیده به فارسی (ترجمه ماشینی)

مجموعه داده های گفتار موجود در حوزه عمومی اغلب به دلیل چالش های کشف و قابلیت همکاری ، مورد استفاده قرار نمی گیرند.یک چارچوب جامع برای بررسی ، کاتالوگ و مجموعه داده های گفتار موجود طراحی شده است ، که امکان ارزیابی قابل تکرار سیستم های تشخیص خودکار گفتار (ASR) را فراهم می کند.یک مطالعه موردی با محوریت زبان لهستانی انجام شد.این چارچوب برای تهیه بیش از 24 مجموعه داده و ارزیابی 25 ترکیب از سیستم ها و مدل های ASR استفاده شده است.این تحقیق گسترده ترین مقایسه تا تاریخ سیستم های تجاری و رایگان ASR برای زبان لهستانی را تشکیل می دهد.این بینش از 600 ارزیابی مجموعه مجموعه سیستم مدل را به خود اختصاص می دهد ، و پیشرفت قابل توجهی در مقیاس و جامع بودن نشان می دهد.نتایج حاصل از نظرسنجی ها و مقایسه عملکرد به عنوان داشبورد تعاملی (https://huggingface.co/spaces/amu-cai/pl-asr-leaderboard) به همراه مجموعه داده های سرپوشیده (https://huggingface.co/datasets/amu-CAI/PL-ASR-BIGOS-V2 ، https://huggingface.co/datasets/pelcra/pl-asr-pelcra-for-bigos) و تماس چالش باز (https://poleval.pl/tasks/task3)بشرابزارهایی که برای ارزیابی استفاده می شود دارای منبع باز هستند (https://github.com/goodmike31/pl-asr-bigos-tools) ، تسهیل تکثیر و سازگاری برای سایر زبانها و همچنین گسترش مداوم با مجموعه داده ها و سیستم های جدید.