ترجمه فارسی مقاله SAMSA: ترانسفورماتور کارآمد برای بسیاری از روش‌های داده

چکیده

The versatility of self-attention mechanism earned transformers great success in almost all data modalities, with limitations on the quadratic complexity and difficulty of training. Efficient transformers, on the other hand, often rely on clever data-modality-dependent construction to get over the quadratic complexity of transformers. This greatly hinders their applications on different data modalities, which is one of the pillars of contemporary foundational modeling. In this paper, we lay the groundwork for efficient foundational modeling by proposing SAMSA – SAMpling-Self-Attention, a context-aware linear complexity self-attention mechanism that works well on multiple data modalities. Our mechanism is based on a differentiable sampling without replacement method we discovered. This enables the self-attention module to attend to the most important token set, where the importance is defined by data. Moreover, as differentiability is not needed in inference, the sparse formulation of our method costs little time overhead, further lowering computational costs. In short, SAMSA achieved competitive or even SOTA results on many benchmarks, while being faster in inference, compared to other very specialized models. Against full self-attention, real inference time significantly decreases while performance ranges from negligible degradation to outperformance. We release our source code in the repository: https://github.com/HySonLab/SAMSA

چکیده به فارسی (ترجمه ماشینی)

تطبیق پذیری مکانیسم خودآگاهی تقریباً در تمام روشهای داده ، با محدودیت در پیچیدگی و دشواری درجه دوم ، موفقیت بزرگی را در همه روشهای داده به دست آورد.ترانسفورماتورهای کارآمد ، از طرف دیگر ، اغلب به ساخت و سازهای وابسته به داده های هوشمندانه متکی هستند تا از پیچیدگی درجه دوم ترانسفورماتورها استفاده کنند.این امر به شدت مانع کاربردهای آنها در روشهای مختلف داده می شود ، که یکی از ستون های مدل سازی بنیادی معاصر است.در این مقاله ، ما با ارائه SAMSA-نمونه گیری خود ، یک مکانیسم پیچیدگی خطی آگاهانه که به خوبی در چندین روش داده انجام می شود ، زمینه را برای مدل سازی بنیادی کارآمد قرار می دهیم.مکانیسم ما مبتنی بر نمونه گیری متفاوت و بدون روش جایگزینی است که ما کشف کردیم.این امر ماژول خود را قادر می سازد تا در مهمترین مجموعه نشانه ها ، جایی که اهمیت توسط داده ها تعریف می شود ، شرکت کند.علاوه بر این ، از آنجا که به استنتاج نیاز به تمایز لازم نیست ، فرمولاسیون پراکنده روش ما هزینه کمی از سربار را دارد و هزینه های محاسباتی را بیشتر می کند.به طور خلاصه ، SAMSA در مقایسه با سایر مدلهای بسیار تخصصی ، نتایج رقابتی یا حتی SOTA را در بسیاری از معیارها به دست آورد ، در حالی که سریعتر در استنتاج قرار دارد.در برابر توجه کامل ، زمان استنباط واقعی به طور قابل توجهی کاهش می یابد در حالی که عملکرد از تخریب ناچیز تا عملکرد بهتر است.ما کد منبع خود را در مخزن منتشر می کنیم: https://github.com/hysonlab/samsa