ترجمه فارسی مقاله یکپارچه‌سازی توکن‌های ورودی چند وجهی در مدل‌های تصمیم‌گیری مبتنی بر Mamba: Decision MetaMamba

چکیده

Return-Conditioned Transformer Decision Models (RCTDM) have demonstrated the potential to enhance transformer performance in offline reinforcement learning by replacing rewards in the input sequence with returns-to-go. However, to achieve the goal of learning an optimal policy from offline datasets composed of limited suboptimal trajectories, RCTDM required alternative methods. One prominent approach, trajectory stitching, was designed to enable the network to combine multiple trajectories to find the optimal path. To implement this using only transformers without auxiliary networks, it was necessary to shorten the input sequence length to better capture the Markov property in reinforcement learnings. This, however, introduced a trade-off, as it reduced the accuracy of action inference. Our study introduces a model named Decision MetaMamba to resolve these challenges. DMM employs an input token mixer to extract patterns from short sequences and uses a State Space Model (SSM) to selectively combine information from relatively distant sequences. Inspired by Metaformer, this structure was developed by transforming Mamba’s input layer into various multi-modal layers. Fortunately, with the advent of Mamba, implemented using parallel selective scanning, we achieved a high-performance sequence model capable of replacing transformers. Based on these innovations, DMM demonstrated excellent performance across various datasets in offline RL, confirming that models using SSM can improve performance by domain-specific alterations of the input layer. Additionally, it maintained its performance even in lightweight models with fewer parameters. These results suggest that decision models based on SSM can pave the way for improved outcomes in future developments.

چکیده به فارسی (ترجمه ماشینی)

مدلهای تصمیم گیری ترانسفورماتور با وضعیت برگشتی (RCTDM) پتانسیل تقویت عملکرد ترانسفورماتور را در یادگیری تقویت آفلاین با جایگزینی پاداش در دنباله ورودی با بازگشت به GO نشان داده اند.با این حال ، برای دستیابی به هدف از یادگیری یک خط مشی بهینه از مجموعه داده های آفلاین متشکل از مسیرهای زیر حد متوسط ​​، RCTDM به روشهای جایگزین نیاز داشت.یک رویکرد برجسته ، دوخت مسیر ، برای اینکه شبکه بتواند چندین مسیر را برای یافتن مسیر بهینه ترکیب کند ، طراحی شده است.برای اجرای این کار با استفاده از تنها ترانسفورماتورهای بدون شبکه های کمکی ، لازم بود طول توالی ورودی را کوتاه کنیم تا بهتر از ویژگی مارکوف در یادگیری های تقویت کننده ضبط شود.با این حال ، این یک تجارت را معرفی کرد ، زیرا باعث کاهش دقت استنباط عمل شد.مطالعه ما مدلی به نام تصمیم Metamamba را برای حل این چالش ها معرفی می کند.DMM برای استخراج الگوهای از توالی های کوتاه از یک میکسر توکن ورودی استفاده می کند و از یک مدل فضایی حالت (SSM) برای ترکیب انتخابی اطلاعات از توالی های نسبتاً دور استفاده می کند.این ساختار با الهام از Metaformer ، با تبدیل لایه ورودی Mamba به لایه های مختلف چند منظوره ساخته شده است.خوشبختانه ، با ظهور مامبا ، با استفاده از اسکن انتخابی موازی ، ما به یک مدل توالی با کارایی بالا که قادر به جایگزینی ترانسفورماتورها بود ، رسیدیم.بر اساس این نوآوری ها ، DMM عملکرد عالی را در مجموعه داده های مختلف در RL آفلاین نشان داد ، تأیید کرد که مدل ها با استفاده از SSM می توانند عملکرد را با تغییرات خاص دامنه لایه ورودی بهبود بخشند.علاوه بر این ، عملکرد خود را حتی در مدل های سبک وزن با پارامترهای کمتری حفظ کرده است.این نتایج نشان می دهد که مدل های تصمیم گیری بر اساس SSM می توانند راه را برای بهبود نتایج در تحولات آینده هموار کنند.