ترجمه فارسی مقاله ConvKgyarn: چرخش داده های قابل تنظیم و مقیاس پذیر نمودار مجموعه داده های QA با مدل های بزرگ زبان

چکیده

The rapid advancement of Large Language Models (LLMs) and conversational assistants necessitates dynamic, scalable, and configurable conversational datasets for training and evaluation. These datasets must accommodate diverse user interaction modes, including text and voice, each presenting unique modeling challenges. Knowledge Graphs (KGs), with their structured and evolving nature, offer an ideal foundation for current and precise knowledge. Although human-curated KG-based conversational datasets exist, they struggle to keep pace with the rapidly changing user information needs. We present ConvKGYarn, a scalable method for generating up-to-date and configurable conversational KGQA datasets. Qualitative psychometric analyses confirm our method can generate high-quality datasets rivaling a popular conversational KGQA dataset while offering it at scale and covering a wide range of human-interaction configurations. We showcase its utility by testing LLMs on diverse conversations – exploring model behavior on conversational KGQA sets with different configurations grounded in the same KG fact set. Our results highlight the ability of ConvKGYarn to improve KGQA foundations and evaluate parametric knowledge of LLMs, thus offering a robust solution to the constantly evolving landscape of conversational assistants.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت سریع مدلهای بزرگ زبان (LLM) و دستیاران مکالمه نیاز به مجموعه داده های مکالمه پویا ، مقیاس پذیر و قابل تنظیم برای آموزش و ارزیابی دارند.این مجموعه داده ها باید حالت های متنوع تعامل کاربر ، از جمله متن و صدا را در خود جای دهند که هر یک چالش های مدل سازی منحصر به فرد را ارائه می دهند.نمودارهای دانش (کیلوگرم) ، با طبیعت ساختار یافته و در حال تحول ، پایه و اساس ایده آل برای دانش فعلی و دقیق ارائه می دهند.اگرچه مجموعه داده های مکالمه مبتنی بر KG با محور انسان وجود دارد ، اما آنها تلاش می کنند تا با نیازهای سریع اطلاعات کاربر در حال تغییر باشند.ما Conckgyarn ، یک روش مقیاس پذیر برای تولید مجموعه داده های به روز و قابل تنظیم KGQA را ارائه می دهیم.تجزیه و تحلیل روان سنجی کیفی تأیید می کند که روش ما می تواند مجموعه داده های با کیفیت بالا را ایجاد کند که در حالی که آن را در مقیاس ارائه می دهد و طیف گسترده ای از تنظیمات تعامل انسان را پوشش می دهد ، یک مجموعه داده KGQA محبوب را تولید می کند.ما با آزمایش LLMS در مکالمات متنوع ، ابزار آن را به نمایش می گذاریم – بررسی رفتار مدل در مجموعه های KGQA مکالمه با تنظیمات مختلف مبتنی بر همان مجموعه واقعیت KG.نتایج ما توانایی Conckgyarn در بهبود پایه های KGQA و ارزیابی دانش پارامتری LLM ها را نشان می دهد ، بنابراین یک راه حل قوی برای چشم انداز مداوم در حال تحول دستیاران مکالمه ارائه می دهد.