ترجمه فارسی مقاله انتقال دانش بین روش‌های صوتی و تصویری برای پایش درجا مبتنی بر یادگیری ماشین در تولید افزایشی لیزری

چکیده

Various machine learning (ML)-based in-situ monitoring systems have been developed to detect laser additive manufacturing (LAM) process anomalies and defects. Multimodal fusion can improve in-situ monitoring performance by acquiring and integrating data from multiple modalities, including visual and audio data. However, multimodal fusion employs multiple sensors of different types, which leads to higher hardware, computational, and operational costs. This paper proposes a cross-modality knowledge transfer (CMKT) methodology that transfers knowledge from a source to a target modality for LAM in-situ monitoring. CMKT enhances the usefulness of the features extracted from the target modality during the training phase and removes the sensors of the source modality during the prediction phase. This paper proposes three CMKT methods: semantic alignment, fully supervised mapping, and semi-supervised mapping. Semantic alignment establishes a shared encoded space between modalities to facilitate knowledge transfer. It utilizes a semantic alignment loss to align the distributions of the same classes (e.g., visual defective and audio defective classes) and a separation loss to separate the distributions of different classes (e.g., visual defective and audio defect-free classes). The two mapping methods transfer knowledge by deriving the features of one modality from the other modality using fully supervised and semi-supervised learning. The proposed CMKT methods were implemented and compared with multimodal audio-visual fusion in an LAM in-situ anomaly detection case study. The semantic alignment method achieves a 98.4% accuracy while removing the audio modality during the prediction phase, which is comparable to the accuracy of multimodal fusion (98.2%).

چکیده به فارسی (ترجمه ماشینی)

سیستم های نظارت بر ماشین (ML) مختلف مبتنی بر سیستم برای تشخیص ناهنجاری ها و نقص های فرآیند لیزر (LAM) تولید شده است.همجوشی چند حالته می تواند با دستیابی و ادغام داده ها از چندین روش ، از جمله داده های بصری و صوتی ، عملکرد نظارت در محل را بهبود بخشد.با این حال ، فیوژن چند مدلی از سنسورهای مختلفی از انواع مختلف استفاده می کند ، که منجر به هزینه های سخت افزاری ، محاسباتی و عملیاتی بالاتر می شود.در این مقاله یک روش انتقال دانش متقاطع (CMKT) ارائه شده است که دانش را از یک منبع به یک روش هدف برای نظارت در LAM در بخش منتقل می کند.CMKT سودمندی ویژگی های استخراج شده از روش هدف را در مرحله آموزش افزایش می دهد و سنسورهای روش منبع را در مرحله پیش بینی حذف می کند.در این مقاله سه روش CMKT ارائه شده است: تراز معنایی ، نقشه برداری کاملاً نظارت شده و نقشه برداری نیمه نظارت.تراز معنایی یک فضای رمزگذاری شده مشترک بین روشها را برای تسهیل انتقال دانش ایجاد می کند.این از یک از دست دادن تراز معنایی برای تراز کردن توزیع کلاسهای یکسان (به عنوان مثال ، کلاسهای معیوب بینایی و صوتی) و از دست دادن جداسازی برای جدا کردن توزیع کلاسهای مختلف (به عنوان مثال ، کلاسهای نقص بصری و بدون نقص صوتی) استفاده می کند.دو روش نقشه برداری دانش را با استخراج ویژگی های یک روش از روش دیگر با استفاده از یادگیری کاملاً نظارت شده و نیمه تحت نظارت انتقال می دهند.روشهای CMKT پیشنهادی با همجوشی صوتی و تصویری چند حالته در یک مطالعه موردی در مورد تشخیص ناهنجاری در محل LAM مقایسه شد.روش تراز معنایی ضمن حذف روش صوتی در مرحله پیش بینی ، به دقت 98.4 ٪ دست می یابد ، که قابل مقایسه با صحت همجوشی چندمودال (2 /98 ٪) است.