ترجمه فارسی مقاله نمونه‌برداری از ترانسفورماتور بنیادی: یک دیدگاه نظری

چکیده

The versatility of self-attention mechanism earned transformers great success in almost all data modalities, with limitations on the quadratic complexity and difficulty of training. To apply transformers across different data modalities, practitioners have to make specific clever data-modality-dependent constructions. In this paper, we propose Sampling Foundational Transformer (SFT) that can work on multiple data modalities (e.g., point cloud, graph, and sequence) and constraints (e.g., rotational-invariant). The existence of such model is important as contemporary foundational modeling requires operability on multiple data sources. For efficiency on large number of tokens, our model relies on our context aware sampling-without-replacement mechanism for both linear asymptotic computational complexity and real inference time gain. For efficiency, we rely on our newly discovered pseudoconvex formulation of transformer layer to increase model’s convergence rate. As a model working on multiple data modalities, SFT has achieved competitive results on many benchmarks, while being faster in inference, compared to other very specialized models.

چکیده به فارسی (ترجمه ماشینی)

تطبیق پذیری مکانیسم خودآگاهی تقریباً در تمام روشهای داده ، با محدودیت در پیچیدگی و دشواری درجه دوم ، موفقیت بزرگی را در همه روشهای داده به دست آورد.برای اعمال ترانسفورماتورها در روشهای مختلف داده ، پزشکان مجبورند سازه های وابسته به داده های هوشمندانه خاص را بسازند.در این مقاله ، ما نمونه گیری از ترانسفورماتور بنیادی (SFT) را پیشنهاد می کنیم که می تواند بر روی چندین روش داده (به عنوان مثال ، ابر نقطه ، نمودار و دنباله) و محدودیت ها (به عنوان مثال ، چرخش-متغیر) کار کند.وجود چنین مدل از اهمیت زیادی برخوردار است زیرا مدل سازی بنیادی معاصر نیاز به عملکرد بر روی منابع مختلف داده دارد.برای بهره وری در تعداد زیادی از نشانه ها ، مدل ما به مکانیسم آگاهانه-با استفاده از مکانیزم جایگزین برای هر دو پیچیدگی محاسباتی بدون علامت خطی و افزایش زمان استنباط واقعی متکی است.برای کارآیی ، ما برای افزایش میزان همگرایی مدل به فرمولاسیون جدید Pseudoconvex از لایه ترانسفورماتور تکیه می کنیم.به عنوان مدلی که روی چندین روش داده کار می کند ، SFT در بسیاری از معیارها به نتایج رقابتی رسیده است ، در حالی که سریعتر در استنتاج قرار دارد ، در مقایسه با سایر مدلهای بسیار تخصصی.