ترجمه فارسی مقاله wav2graph: چارچوبی برای گراف دانش یادگیری نظارت‌شده از گفتار

چکیده

Knowledge graphs (KGs) enhance the performance of large language models (LLMs) and search engines by providing structured, interconnected data that improves reasoning and context-awareness. However, KGs only focus on text data, thereby neglecting other modalities such as speech. In this work, we introduce wav2graph, the first framework for supervised learning knowledge graph from speech data. Our pipeline are straightforward: (1) constructing a KG based on transcribed spoken utterances and a named entity database, (2) converting KG into embedding vectors, and (3) training graph neural networks (GNNs) for node classification and link prediction tasks. Through extensive experiments conducted in inductive and transductive learning contexts using state-of-the-art GNN models, we provide baseline results and error analysis for node classification and link prediction tasks on human transcripts and automatic speech recognition (ASR) transcripts, including evaluations using both encoder-based and decoder-based node embeddings, as well as monolingual and multilingual acoustic pre-trained models. All related code, data, and models are published online.

چکیده به فارسی (ترجمه ماشینی)

نمودارهای دانش (کیلوگرم) با ارائه داده های ساخت یافته و بهم پیوسته که باعث بهبود استدلال و آگاهی از متن می شود ، عملکرد مدل های بزرگ زبان (LLMS) و موتورهای جستجو را تقویت می کند.با این حال ، KGS فقط روی داده های متن تمرکز می کند ، در نتیجه از سایر روشهای مانند گفتار غفلت می کند.در این کار ، WAV2Graph را معرفی می کنیم ، اولین چارچوب برای نمودار دانش یادگیری تحت نظارت از داده های گفتار.خط لوله ما ساده است: (1) ساخت یک کیلوگرم بر اساس گفته های گفتاری رونویسی و یک پایگاه داده نهاد نامگذاری شده ، (2) تبدیل کیلوگرم به بردارهای تعبیه شده ، و (3) شبکه های عصبی نمودار آموزش (GNN) برای طبقه بندی گره و کارهای پیش بینی پیوند.از طریق آزمایش های گسترده انجام شده در زمینه های یادگیری القایی و فرامرزی با استفاده از مدلهای پیشرفته GNN ، ما نتایج پایه و تجزیه و تحلیل خطا را برای طبقه بندی گره ارائه می دهیم و وظایف پیش بینی پیوند را بر روی رونوشت های انسانی و رونوشت های خودکار گفتار (ASR) ، از جمله ارزیابی های استفاده استفاده می کنیم.هر دو گره مبتنی بر رمزگذار و رمزگذار مبتنی بر رمزگذار ، و همچنین مدل های قبل از آموزش آکوستیک یک زبانه و چند زبانه.کلیه کد ، داده ها و مدل های مرتبط به صورت آنلاین منتشر می شوند.