ترجمه فارسی مقاله گسترش بیان در مدل های ترانسفورماتور با Möbiusattention

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Expanding Expressivity in Transformer Models with MöbiusAttention
عنوان مقاله به فارسی گسترش بیان در مدل های ترانسفورماتور با Möbiusattention
نویسندگان Anna-Maria Halacheva, Mojtaba Nayyeri, Steffen Staab
فرمت مقاله انگلیسی PDF
تعداد صفحات 25
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Artificial Intelligence,یادگیری ماشین , هوش مصنوعی ,
توضیحات Submitted 8 September, 2024; originally announced September 2024.
توضیحات به فارسی ارسال شده در 8 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Attention mechanisms and Transformer architectures have revolutionized Natural Language Processing (NLP) by enabling exceptional modeling of long-range dependencies and capturing intricate linguistic patterns. However, their inherent reliance on linear operations in the form of matrix multiplications limits their ability to fully capture inter-token relationships on their own. We propose MöbiusAttention, a novel approach that integrates Möbius transformations within the attention mechanism of Transformer-based models. Möbius transformations are non-linear operations in spaces over complex numbers with the ability to map between various geometries. By incorporating these properties, MöbiusAttention empowers models to learn more intricate geometric relationships between tokens and capture a wider range of information through complex-valued weight vectors. We build and pre-train a BERT and a RoFormer version enhanced with MöbiusAttention, which we then finetune on the GLUE benchmark. We evaluate empirically our approach against the baseline BERT and RoFormer models on a range of downstream tasks. Our approach compares favorably against the baseline models, even with smaller number of parameters suggesting the enhanced expressivity of MöbiusAttention. This research paves the way for exploring the potential of Möbius transformations in the complex projective space to enhance the expressivity and performance of foundation models.

چکیده به فارسی (ترجمه ماشینی)

مکانیسم های توجه و معماری های ترانسفورماتور با فعال کردن مدل سازی استثنایی وابستگی های دوربرد و گرفتن الگوهای زبانی پیچیده ، پردازش زبان طبیعی (NLP) را متحول کرده اند.با این حال ، اعتماد ذاتی آنها به عملیات خطی به شکل ضرب ماتریس توانایی آنها را در گرفتن کامل روابط بین متقاضی به تنهایی محدود می کند.ما Möbiusattention را پیشنهاد می کنیم ، یک رویکرد جدید که تحولات Möbius را در مکانیسم توجه مدل های مبتنی بر ترانسفورماتور ادغام می کند.تحولات Möbius عملیات غیر خطی در فضاهایی بیش از اعداد پیچیده با توانایی نقشه برداری بین هندسه های مختلف است.با ترکیب این خصوصیات ، Möbiusattention به مدل ها این امکان را می دهد تا روابط هندسی پیچیده تری بین نشانه ها را بیاموزند و طیف گسترده تری از اطلاعات را از طریق بردارهای با وزن پیچیده ضبط کنند.ما یک Bert و یک نسخه Roformer را با Möbiusattention ساخته و از قبل ردیابی می کنیم ، که سپس در معیار چسب قرار می دهیم.ما رویکرد تجربی خود را در برابر مدل های پایه Bert و Roformer در طیف وسیعی از کارهای پایین دست ارزیابی می کنیم.رویکرد ما در برابر مدلهای پایه ، حتی با تعداد کمتری از پارامترها که نشان دهنده بیان پیشرفته Möbiusattention است ، مقایسه می کند.این تحقیق راه را برای کاوش در پتانسیل تحولات Möbius در فضای پیچیده پروژکتور برای تقویت بیان و عملکرد مدلهای پایه هموار می کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.