ترجمه فارسی مقاله پیچیدگی های چند وضوح چند وضوح برای مدل سازی توالی طولانی

چکیده

Global convolutions have shown increasing promise as powerful general-purpose sequence models. However, training long convolutions is challenging, and kernel parameterizations must be able to learn long-range dependencies without overfitting. This work introduces reparameterized multi-resolution convolutions ($\texttt{MRConv}$), a novel approach to parameterizing global convolutional kernels for long-sequence modelling. By leveraging multi-resolution convolutions, incorporating structural reparameterization and introducing learnable kernel decay, $\texttt{MRConv}$ learns expressive long-range kernels that perform well across various data modalities. Our experiments demonstrate state-of-the-art performance on the Long Range Arena, Sequential CIFAR, and Speech Commands tasks among convolution models and linear-time transformers. Moreover, we report improved performance on ImageNet classification by replacing 2D convolutions with 1D $\texttt{MRConv}$ layers.

چکیده به فارسی (ترجمه ماشینی)

پیچیدگی های جهانی وعده های فزاینده ای را به عنوان مدل های توالی قدرتمند عمومی نشان داده است.با این حال ، آموزش حلقوی طولانی چالش برانگیز است ، و پارامترهای هسته باید بتوانند وابستگی های دوربرد را بدون استفاده از بیش از حد یاد بگیرند.این کار پیچیدگی های چند وضوح چندگانه ($ \ texttt {MRCONV} $) را معرفی می کند ، یک رویکرد جدید برای پارامتر کردن هسته های حلقوی جهانی برای مدل سازی دنباله های طولانی.با اعمال استفاده از پیچیدگی های چند با وضوح ، ترکیب مجدد ساختاری و معرفی پوسیدگی هسته قابل یادگیری ، $ \ texttt {MRCONV} $ می آموزد که هسته های با برد طولانی را بیان می کند که در بین روشهای مختلف داده ها عملکرد خوبی دارند.آزمایشات ما عملکرد پیشرفته ای را در عرصه های دوربرد ، CIFAR متوالی و دستورات گفتار در بین مدلهای حلقوی و ترانسفورماتورهای خطی نشان می دهد.علاوه بر این ، ما با جایگزین کردن پیچش های 2D با لایه های 1D $ \ texttt {mrconv} $ ، عملکرد بهبود یافته را در طبقه بندی Imagenet گزارش می کنیم.