ترجمه فارسی مقاله SpikingSSMs: یادگیری دنباله های طولانی با مدل های فضایی حالت اسپکینگ پراکنده و موازی

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models
عنوان مقاله به فارسی SpikingSSMs: یادگیری دنباله های طولانی با مدل های فضایی حالت اسپکینگ پراکنده و موازی
نویسندگان Shuaijie Shen, Chao Wang, Renzhuo Huang, Yan Zhong, Qinghai Guo, Zhichao Lu, Jianguo Zhang, Luziwei Leng
فرمت مقاله انگلیسی PDF
تعداد صفحات 15
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Machine Learning,Neural and Evolutionary Computing,محاسبات و زبان , یادگیری ماشین , محاسبات عصبی و تکاملی ,
توضیحات Submitted 27 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده در 27 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Known as low energy consumption networks, spiking neural networks (SNNs) have gained a lot of attention within the past decades. While SNNs are increasing competitive with artificial neural networks (ANNs) for vision tasks, they are rarely used for long sequence tasks, despite their intrinsic temporal dynamics. In this work, we develop spiking state space models (SpikingSSMs) for long sequence learning by leveraging on the sequence learning abilities of state space models (SSMs). Inspired by dendritic neuron structure, we hierarchically integrate neuronal dynamics with the original SSM block, meanwhile realizing sparse synaptic computation. Furthermore, to solve the conflict of event-driven neuronal dynamics with parallel computing, we propose a light-weight surrogate dynamic network which accurately predicts the after-reset membrane potential and compatible to learnable thresholds, enabling orders of acceleration in training speed compared with conventional iterative methods. On the long range arena benchmark task, SpikingSSM achieves competitive performance to state-of-the-art SSMs meanwhile realizing on average 90\% of network sparsity. On language modeling, our network significantly surpasses existing spiking large language models (spikingLLMs) on the WikiText-103 dataset with only a third of the model size, demonstrating its potential as backbone architecture for low computation cost LLMs.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی سنبله (SNN) که به عنوان شبکه های مصرف انرژی کم شناخته می شوند ، طی دهه های گذشته مورد توجه بسیاری قرار گرفته اند.در حالی که SNN ها با شبکه های عصبی مصنوعی (ANNS) برای کارهای بینایی در حال افزایش هستند ، اما علی رغم پویایی زمانی ذاتی آنها ، به ندرت برای کارهای توالی طولانی مورد استفاده قرار می گیرند.در این کار ، ما با استفاده از توانایی های یادگیری توالی مدل های فضایی دولتی (SSMS) ، مدل های فضایی حالت سنبله (spikingssms) را برای یادگیری توالی طولانی توسعه می دهیم.با الهام از ساختار نورون دندریتیک ، ما سلسله مراتبی دینامیک عصبی را با بلوک اصلی SSM ادغام می کنیم ، در عین حال محاسبه سیناپسی پراکنده را تحقق می بخشیم.علاوه بر این ، برای حل تعارض دینامیک عصبی رویداد محور با محاسبات موازی ، ما یک شبکه پویا با وزن سبک را پیشنهاد می کنیم که به طور دقیق پتانسیل غشای پس از رزوست را پیش بینی کرده و برای آستانه های یادگیری سازگار است ، و امکان شتاب در سرعت آموزش را در مقایسه با معمولی فراهم می کند.روشهای تکراری.در کار معیار عرصه دوربرد ، SPIKINGSSM عملکرد رقابتی را به SSM های پیشرفته می رساند در عین حال که به طور متوسط ​​90 \ ٪ از کمبود شبکه را تحقق می بخشد.در مورد مدل سازی زبان ، شبکه ما به طور قابل توجهی از مدل های بزرگ زبان سنبله موجود (spikingllms) در مجموعه داده های wikitext-103 با تنها یک سوم از اندازه مدل پیشی می گیرد ، و پتانسیل آن را به عنوان معماری ستون فقرات برای LLMS هزینه محاسبه پایین نشان می دهد.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.