ترجمه فارسی مقاله رونمایی و دستکاری مفاهیم در مدل های بنیاد سری زمانی

چکیده

Time series foundation models promise to be powerful tools for a wide range of applications. However, little is known about the concepts that these models learn and how can we manipulate them in the latent space. Our study bridges these gaps by identifying concepts learned by these models, localizing them to specific parts of the model, and steering model predictions along these conceptual directions, using synthetic time series data. Our results show that MOMENT, a state-of-the-art foundation model, can discern distinct time series patterns, and that this ability peaks in the middle layers of the network. Moreover, we show that model outputs can be steered using insights from its activations (e.g., by introducing periodic trends to initially constant signals through intervention during inference). Our findings underscore the importance of synthetic data in studying and steering time series foundation models and intervening throughout the whole model (using steering matrices), instead of a single layer.

چکیده به فارسی (ترجمه ماشینی)

مدل های بنیاد سری زمانی قول می دهند ابزاری قدرتمند برای طیف گسترده ای از برنامه ها باشند.با این حال ، در مورد مفاهیمی که این مدل ها یاد می گیرند ، اطلاعات کمی وجود دارد و چگونه می توانیم آنها را در فضای نهفته دستکاری کنیم.مطالعه ما با شناسایی مفاهیم آموخته شده توسط این مدلها ، بومی سازی آنها در قسمت های خاص مدل و پیش بینی های مدل فرمان در طول این جهت های مفهومی ، با استفاده از داده های سری زمانی مصنوعی ، این شکاف ها را به هم می ریزد.نتایج ما نشان می دهد که آن لحظه ، یک مدل بنیاد پیشرفته ، می تواند الگوهای سری زمانی متمایز را تشخیص دهد ، و این توانایی در لایه های میانی شبکه قرار می گیرد.علاوه بر این ، ما نشان می دهیم که خروجی های مدل می توانند با استفاده از بینش از فعال سازی های آن هدایت شوند (به عنوان مثال ، با معرفی روندهای دوره ای به سیگنال های اولیه در ابتدا از طریق مداخله در هنگام استنتاج).یافته های ما بر اهمیت داده های مصنوعی در مدل های بنیاد سری های مطالعه و فرمان و مداخله در کل مدل (با استفاده از ماتریس های فرمان) ، به جای یک لایه واحد تأکید می کند.