مقاله مسائل مربوط به سنسورهای فضایی : بازسازی حرکت سه بعدی انسان با کمک معناشناسی متنی

چکیده

Leveraging wearable devices for motion reconstruction has emerged as an economical and viable technique. Certain methodologies employ sparse Inertial Measurement Units (IMUs) on the human body and harness data-driven strategies to model human poses. However, the reconstruction of motion based solely on sparse IMUs data is inherently fraught with ambiguity, a consequence of numerous identical IMU readings corresponding to different poses. In this paper, we explore the spatial importance of multiple sensors, supervised by text that describes specific actions. Specifically, uncertainty is introduced to derive weighted features for each IMU. We also design a Hierarchical Temporal Transformer (HTT) and apply contrastive learning to achieve precise temporal and feature alignment of sensor data with textual semantics. Experimental results demonstrate our proposed approach achieves significant improvements in multiple metrics compared to existing methods. Notably, with textual supervision, our method not only differentiates between ambiguous actions such as sitting and standing but also produces more precise and natural motion.

چکیده به فارسی (ترجمه ماشینی)

استفاده از دستگاه های پوشیدنی برای بازسازی حرکت به عنوان یک تکنیک اقتصادی و مناسب پدید آمده است.برخی از روشهای خاص از واحدهای اندازه گیری اینرسی پراکنده (IMU) بر روی بدن انسان و استراتژی های داده محور برای مدل سازی نکات انسانی استفاده می کنند.با این حال ، بازسازی حرکت صرفاً بر روی داده های IMU های پراکنده ذاتاً مملو از ابهام است ، نتیجه ای از خوانش های IMU یکسان متعدد مربوط به نکات مختلف.در این مقاله ، ما اهمیت مکانی سنسورهای متعدد را بررسی می کنیم ، تحت نظارت متنی که اقدامات خاص را توصیف می کند.به طور خاص ، عدم اطمینان برای به دست آوردن ویژگی های وزنی برای هر IMU معرفی شده است.ما همچنین یک ترانسفورماتور زمانی سلسله مراتبی (HTT) را طراحی می کنیم و برای دستیابی به تراز دقیق داده های سنسور با معناشناسی متنی ، از یادگیری متضاد استفاده می کنیم.نتایج تجربی نشان می دهد که رویکرد پیشنهادی ما در مقایسه با روشهای موجود به پیشرفتهای قابل توجهی در معیارهای مختلف دست می یابد.نکته قابل توجه ، با نظارت متنی ، روش ما نه تنها بین اقدامات مبهم مانند نشستن و ایستادن متفاوت است بلکه حرکت دقیق تر و طبیعی تری نیز ایجاد می کند.