ترجمه فارسی مقاله بررسی مامبا

چکیده

As one of the most representative DL techniques, Transformer architecture has empowered numerous advanced models, especially the large language models (LLMs) that comprise billions of parameters, becoming a cornerstone in deep learning. Despite the impressive achievements, Transformers still face inherent limitations, particularly the time-consuming inference resulting from the quadratic computation complexity of attention calculation. Recently, a novel architecture named Mamba, drawing inspiration from classical state space models (SSMs), has emerged as a promising alternative for building foundation models, delivering comparable modeling abilities to Transformers while preserving near-linear scalability concerning sequence length. This has sparked an increasing number of studies actively exploring Mamba’s potential to achieve impressive performance across diverse domains. Given such rapid evolution, there is a critical need for a systematic review that consolidates existing Mamba-empowered models, offering a comprehensive understanding of this emerging model architecture. In this survey, we therefore conduct an in-depth investigation of recent Mamba-associated studies, covering three main aspects: the advancements of Mamba-based models, the techniques of adapting Mamba to diverse data, and the applications where Mamba can excel. Specifically, we first review the foundational knowledge of various representative deep learning models and the details of Mamba-1&2 as preliminaries. Then, to showcase the significance of Mamba for AI, we comprehensively review the related studies focusing on Mamba models’ architecture design, data adaptability, and applications. Finally, we present a discussion of current limitations and explore various promising research directions to provide deeper insights for future investigations.

چکیده به فارسی (ترجمه ماشینی)

به عنوان یکی از نماینده ترین تکنیک های DL ، معماری ترانسفورماتور چندین مدل پیشرفته ، به ویژه مدل های بزرگ زبان (LLM) را که شامل میلیاردها پارامتر است ، توانمند کرده و تبدیل به یک سنگ بنای در یادگیری عمیق می شود.با وجود دستاوردهای چشمگیر ، ترانسفورماتورها هنوز با محدودیت های ذاتی روبرو هستند ، به ویژه استنباط وقت گیر ناشی از پیچیدگی محاسبات درجه دوم محاسبه توجه.به تازگی ، یک معماری جدید به نام Mamba ، الهام بخش از مدل های فضای کلاسیک حالت (SSMS) ، به عنوان یک جایگزین امیدوار کننده برای مدل های بنیاد ساختمانی ظاهر شده است ، و در عین حال حفظ مقیاس پذیری تقریباً خطی در مورد طول دنباله ، توانایی های مدل سازی قابل مقایسه را به ترانسفورماتورها ارائه می دهد.این امر باعث شده است که تعداد فزاینده ای از مطالعات به طور فعال در مورد پتانسیل مامبا برای دستیابی به عملکرد چشمگیر در حوزه های متنوع ، به طور فعال ایجاد شود.با توجه به چنین تکامل سریع ، یک نیاز اساسی به یک بررسی منظم وجود دارد که مدلهای موجود در MAMB-EMPANE را تثبیت می کند و درک کاملی از این معماری مدل نوظهور ارائه می دهد.در این بررسی ، بنابراین ما یک تحقیق عمیق از مطالعات اخیر MAMBA را انجام می دهیم ، سه جنبه اصلی را پوشش می دهد: پیشرفت مدل های مبتنی بر مامبا ، تکنیک تطبیق Mamba با داده های متنوع ، و برنامه هایی که Mamba می تواند از آن خارج شود.به طور خاص ، ما ابتدا دانش بنیادی مدل های مختلف یادگیری عمیق نماینده و جزئیات Mamba-1 & 2 را به عنوان مقدماتی مرور می کنیم.سپس ، برای نشان دادن اهمیت Mamba برای هوش مصنوعی ، ما به طور جامع مطالعات مرتبط با تمرکز بر طراحی معماری مدل های Mamba ، سازگاری داده ها و برنامه ها را مرور می کنیم.سرانجام ، ما بحثی در مورد محدودیت های فعلی ارائه می دهیم و مسیرهای مختلف تحقیق امیدوارکننده را برای ارائه بینش عمیق تر برای تحقیقات آینده کشف می کنیم.