ترجمه فارسی مقاله کشف دینامیک تعقیب خودرو از داده‌های مسیر حرکت از طریق یادگیری عمیق

چکیده

Structured State Space Models (SSMs) have emerged as compelling alternatives to Transformer architectures, offering linear-time complexity and superior performance in various sequence modeling tasks. Despite their advantages, SSMs like the original Mamba-2 face training difficulties due to the sensitivities introduced by the extended series of recurrent matrix multiplications. In this paper, we propose an advanced architecture that mitigates these challenges by decomposing A-multiplications into multiple groups and optimizing positional encoding through Grouped Finite Impulse Response (FIR) filtering. This new structure, denoted as Grouped FIR-enhanced SSM (GFSSM), employs semiseparable matrices for efficient computation. Furthermore, inspired by the “attention sink” phenomenon identified in streaming language models, we incorporate a similar mechanism to enhance the stability and performance of our model over extended sequences. Our approach further bridges the gap between SSMs and Transformer architectures, offering a viable path forward for scalable and high-performing sequence modeling.

چکیده به فارسی (ترجمه ماشینی)

مدل های فضایی حالت ساختاری (SSM) به عنوان گزینه های قانع کننده برای معماری های ترانسفورماتور ظاهر شده اند و پیچیدگی زمان خطی و عملکرد برتر را در کارهای مختلف مدل سازی توالی ارائه می دهند.علیرغم مزایای آنها ، SSM مانند مشکلات اصلی آموزش MAMBA-2 به دلیل حساسیت های معرفی شده توسط سری گسترده ضرب ماتریس مکرر.در این مقاله ، ما یک معماری پیشرفته را پیشنهاد می کنیم که با تجزیه A-Multiplications در چندین گروه و بهینه سازی رمزگذاری موقعیت از طریق فیلتر پاسخ تکانه گروهی (FIR) ، این چالش ها را کاهش می دهد.این ساختار جدید ، که به عنوان گروه SSM با افزایش گروه (GFSSM) مشخص شده است ، از ماتریس های نیمه جانبی برای محاسبات کارآمد استفاده می کند.علاوه بر این ، با الهام از پدیده “سینک توجه” که در مدل های زبان جریان مشخص شده است ، ما مکانیسم مشابهی را برای تقویت ثبات و عملکرد مدل خود نسبت به توالی های گسترده گنجانده ایم.رویکرد ما بیشتر شکاف بین SSMS و معماری های ترانسفورماتور را ایجاد می کند و یک مسیر مناسب را برای مدل سازی توالی مقیاس پذیر و با عملکرد بالا ارائه می دهد.