ترجمه فارسی مقاله قانون پیش‌بینی نشانه بعدی در مدل‌های زبان بزرگ

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی A Law of Next-Token Prediction in Large Language Models
عنوان مقاله به فارسی قانون پیش‌بینی نشانه بعدی در مدل‌های زبان بزرگ
نویسندگان Hangfeng He, Weijie J. Su
فرمت مقاله انگلیسی PDF
تعداد صفحات 26
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Artificial Intelligence,Computation and Language,Machine Learning,یادگیری ماشین , هوش مصنوعی , محاسبات و زبان , یادگیری ماشین ,
توضیحات Submitted 23 August, 2024; originally announced August 2024.
توضیحات به فارسی ارسال شده 23 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Large language models (LLMs) have been widely employed across various application domains, yet their black-box nature poses significant challenges to understanding how these models process input data internally to make predictions. In this paper, we introduce a precise and quantitative law that governs the learning of contextualized token embeddings through intermediate layers in pre-trained LLMs for next-token prediction. Our findings reveal that each layer contributes equally to enhancing prediction accuracy, from the lowest to the highest layer -- a universal phenomenon observed across a diverse array of open-source LLMs, built on architectures such as Transformer, RWKV, and Mamba. We demonstrate that this law offers new perspectives and insights to inform and guide practices in LLM development and applications, including model scaling, pre-training tasks, and information flow. Overall, our law enables more fine-grained approaches to the design, training, and interpretation of LLMs through scrutinizing their internal data processing mechanisms.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) به طور گسترده ای در حوزه های مختلف کاربردی به کار رفته اند ، اما ماهیت جعبه سیاه آنها چالش های مهمی را برای درک چگونگی پردازش این مدل ها داده های ورودی داخلی برای پیش بینی ایجاد می کند.در این مقاله ، ما یک قانون دقیق و کمی را معرفی می کنیم که حاکم بر یادگیری تعبیه های متنی شده از طریق لایه های میانی در LLM های از پیش آموزش دیده برای پیش بینی های بعدی است.یافته های ما نشان می دهد که هر لایه به همان اندازه در افزایش دقت پیش بینی ، از پایین ترین تا بالاترین لایه نقش دارد-یک پدیده جهانی مشاهده شده در مجموعه متنوعی از LLM های منبع باز ، ساخته شده بر روی معماری مانند Transformer ، RWKV و Mamba.ما نشان می دهیم که این قانون دیدگاه ها و بینش های جدیدی را برای اطلاع رسانی و راهنمایی شیوه ها در توسعه LLM و برنامه ها ، از جمله مقیاس بندی مدل ، کارهای قبل از آموزش و جریان اطلاعات ارائه می دهد.به طور کلی ، قانون ما رویکردهای ریز و درشت تری را برای طراحی ، آموزش و تفسیر LLM ها از طریق بررسی مکانیسم های پردازش داده های داخلی آنها امکان پذیر می کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.