مقاله SSM پایدار: کاهش نفرین حافظه در مدل های فضای حالت از طریق پارامترسازی مجدد پایدار

چکیده

In this paper, we investigate the long-term memory learning capabilities of state-space models (SSMs) from the perspective of parameterization. We prove that state-space models without any reparameterization exhibit a memory limitation similar to that of traditional RNNs: the target relationships that can be stably approximated by state-space models must have an exponential decaying memory. Our analysis identifies this “curse of memory” as a result of the recurrent weights converging to a stability boundary, suggesting that a reparameterization technique can be effective. To this end, we introduce a class of reparameterization techniques for SSMs that effectively lift its memory limitations. Besides improving approximation capabilities, we further illustrate that a principled choice of reparameterization scheme can also enhance optimization stability. We validate our findings using synthetic datasets and language models.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله ، ما قابلیت های یادگیری حافظه بلند مدت مدل های فضای دولتی (SSM) را از منظر پارامتری بررسی می کنیم.ما ثابت می کنیم که مدل های حالت فضایی بدون هیچ گونه بازپرداخت محدودیت حافظه مشابه RNN های سنتی را نشان می دهند: روابط هدف که می توانند به طور پایدار توسط مدلهای فضای حالت تقریب شوند ، باید دارای یک حافظه پوسیدگی نمایی باشند.تجزیه و تحلیل ما این “نفرین حافظه” را به عنوان یک نتیجه از وزن های مکرر که به یک مرز پایداری همگرا می شوند ، مشخص می کند ، نشان می دهد که یک تکنیک reparameterization می تواند مؤثر باشد.برای این منظور ، ما یک کلاس از تکنیک های reparameterization را برای SSM ها معرفی می کنیم که به طور مؤثر محدودیت های حافظه آن را بالا می برند.علاوه بر بهبود قابلیت های تقریبی ، ما بیشتر نشان می دهیم که یک انتخاب اصولی از طرح reparameterization همچنین می تواند ثبات بهینه سازی را افزایش دهد.ما یافته های خود را با استفاده از مجموعه داده های مصنوعی و مدل های زبان تأیید می کنیم.