Signal Processing,Artificial Intelligence,Computation and Language,Machine Learning,Sound,Audio and Speech Processing,پردازش سیگنال , هوش مصنوعی , محاسبه و زبان , یادگیری ماشین , صدا , صدا و گفتار ,
توضیحات
Submitted 3 September, 2024; originally announced September 2024. , Comments: 16 pages, 4 figures
توضیحات به فارسی
ارسال شده در 3 سپتامبر 2024 ؛در ابتدا سپتامبر 2024 اعلام شد ، نظرات: 16 صفحه ، 4 شکل
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
چکیده
Large Language Models (LLMs) have ushered in a new wave of artificial intelligence advancements impacting every scientific field and discipline. They are trained on a simple objective: to predict the next token given the previous context. We live in a world where most of the data around us, e.g., text, audio, and music, has a multi-scale structure associated with it. This paper infuses LLMs with traditional signal processing ideas, namely wavelets, during pre-training to take advantage of the structure. Without adding \textbf{any extra parameters} to a GPT-style LLM architecture, we achieve the same pre-training performance almost twice as fast in text, raw audio, and symbolic music. This is achieved by imposing a structure on intermediate embeddings. When trained for the same number of training steps, we achieve significant gains in performance, which is comparable to pre-training a larger neural architecture. Our architecture allows every next token prediction access to intermediate embeddings at different temporal resolutions in every Transformer decoder block. This work will hopefully pave the way for incorporating multi-rate signal processing ideas into traditional LLM pre-training. Further, we showcase pushing model performance by improving internal structure instead of just going after scale.
چکیده به فارسی (ترجمه ماشینی)
مدل های بزرگ زبان (LLM) در موج جدیدی از پیشرفت های هوش مصنوعی تأثیر گذاشته اند که بر هر زمینه و رشته علمی تأثیر می گذارد.آنها بر روی یک هدف ساده آموزش دیده اند: پیش بینی نشانه بعدی با توجه به متن قبلی.ما در دنیایی زندگی می کنیم که بیشتر داده های اطراف ما ، به عنوان مثال ، متن ، صدا و موسیقی ، دارای ساختار چند مقیاس در ارتباط با آن است.در این مقاله LLM ها با ایده های سنتی پردازش سیگنال ، یعنی موجک ها ، در طول پیش از آموزش برای استفاده از ساختار تزریق می شود.بدون اضافه کردن \ TextBF {هر پارامتر اضافی} به یک معماری LLM به سبک GPT ، ما تقریباً دو برابر سریعتر در متن ، صوتی خام و موسیقی نمادین به همان عملکرد قبل از آموزش دست می یابیم.این امر با تحمیل یک ساختار در تعبیه های میانی حاصل می شود.هنگامی که برای همان تعداد مراحل آموزشی آموزش می بینیم ، به دستاوردهای قابل توجهی در عملکرد می رسیم ، که قابل مقایسه با قبل از آموزش یک معماری عصبی بزرگتر است.معماری ما اجازه می دهد تا هر پیش بینی نشانه بعدی به تعبیه های میانی در وضوح زمانی مختلف در هر بلوک رمزگشایی ترانسفورماتور دسترسی داشته باشد.این کار امیدوارم راه را برای ترکیب ایده های پردازش سیگنال چند نرخ در پیش از آموزش سنتی LLM هموار کند.علاوه بر این ، ما با بهبود ساختار داخلی به جای اینکه فقط بعد از مقیاس انجام دهیم ، عملکرد مدل فشار را به نمایش می گذاریم.
📚 محتوای این محصول آموزشی (پکیج کامل)
علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیقتر و تسلط کامل بر مباحث مجموعهای از کتابهای آموزشی نیز ارائه میشود.
کتاب پرسش و پاسخ چهارگزینهای – نسخه یادگیری سریع
— پاسخها بلافاصله بعد از سؤال برای مرور سریع
مشاهده نمونه نسخه کوییز سریع
کتاب پرسش و پاسخ چهارگزینهای – نسخه خودآزمایی
— پاسخها در انتهای بخشها برای سنجش واقعی یادگیری
مشاهده نمونه نسخه آزمونی
🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتابها، تمرینها و خودآزمایی.
ℹ️ نکات مهم هنگام خرید
این محصول به صورت فایل دانلودی کامل ارائه میشود.
توجه: لینکهای اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال میشوند.
دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینکها را دریافت نکردهاید، نام و نام خانوادگی و نام محصول را پیامک کنید تا
لینکها دوباره ارسال شوند.
💬 راههای ارتباطی پشتیبانی: واتساپ یا هر پیام رسان داخلی یا پیامک:
09395106248 تلگرام: @ma_limbs
