ترجمه فارسی مقاله 2 بعدی یا نه 2 بعدی: ابعاد نمایش ژست چگونه بر تولید ژست گفتار مشترک سه بعدی تأثیر می گذارد؟

چکیده

Co-speech gestures are fundamental for communication. The advent of recent deep learning techniques has facilitated the creation of lifelike, synchronous co-speech gestures for Embodied Conversational Agents. “In-the-wild” datasets, aggregating video content from platforms like YouTube via human pose detection technologies, provide a feasible solution by offering 2D skeletal sequences aligned with speech. Concurrent developments in lifting models enable the conversion of these 2D sequences into 3D gesture databases. However, it is important to note that the 3D poses estimated from the 2D extracted poses are, in essence, approximations of the ground-truth, which remains in the 2D domain. This distinction raises questions about the impact of gesture representation dimensionality on the quality of generated motions – a topic that, to our knowledge, remains largely unexplored. Our study examines the effect of using either 2D or 3D joint coordinates as training data on the performance of speech-to-gesture deep generative models. We employ a lifting model for converting generated 2D pose sequences into 3D and assess how gestures created directly in 3D stack up against those initially generated in 2D and then converted to 3D. We perform an objective evaluation using widely used metrics in the gesture generation field as well as a user study to qualitatively evaluate the different approaches.

چکیده به فارسی (ترجمه ماشینی)

حرکات گفتار برای ارتباطات اساسی است.ظهور تکنیک های یادگیری عمیق اخیر باعث ایجاد حرکات زندگی همزمان و همزمان برای عوامل مکالمه تجسم یافته است.مجموعه داده های “درون وحشی” ، جمع آوری محتوای ویدیویی از سیستم عامل هایی مانند YouTube از طریق فن آوری های تشخیص ژست انسانی ، با ارائه توالی اسکلتی 2D تراز شده با گفتار ، یک راه حل امکان پذیر ارائه می دهد.تحولات همزمان در مدل های بلند کردن ، تبدیل این توالی 2D را به پایگاه داده های ژست سه بعدی امکان پذیر می کند.با این حال ، توجه به این نکته حائز اهمیت است که سه بعدی تخمین زده می شود از پاهای استخراج شده 2D ، در اصل ، تقریب های حقیقت زمین ، که در دامنه 2D باقی مانده است.این تمایز سؤالاتی در مورد تأثیر ابعاد بازنمایی ژست بر کیفیت حرکات تولید شده ایجاد می کند – موضوعی که به دانش ما ، تا حد زیادی ناشناخته است.مطالعه ما به بررسی تأثیر استفاده از مختصات مشترک 2D یا 3D به عنوان داده های آموزش در مورد عملکرد مدلهای تولیدی عمیق گفتار به گرائور می پردازد.ما از یک مدل بلند کردن برای تبدیل دنباله های Pose 2D تولید شده به سه بعدی استفاده می کنیم و ارزیابی می کنیم که چگونه حرکات ایجاد شده به طور مستقیم در سه بعدی در برابر آنهایی که در ابتدا در 2D تولید شده و سپس به 3D تبدیل می شوند.ما یک ارزیابی عینی را با استفاده از معیارهای گسترده در زمینه تولید ژست و همچنین یک مطالعه کاربر برای ارزیابی کیفی رویکردهای مختلف انجام می دهیم.