ترجمه فارسی مقاله تراز ترانسفورماتور در مدل های زبان بزرگ

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

پرداخت اقساطی
در صورت خرید اقساطی هر قسط: 37,500 تومان
۴ قسط ماهانه. بدون سود، چک و ضامن.
پرداخت اقساطی با دیجی‌پی پرداخت اقساطی با ترب‌پی
عنوان مقاله به انگلیسی Transformer Alignment in Large Language Models
عنوان مقاله به فارسی تراز ترانسفورماتور در مدل های زبان بزرگ
نویسندگان Murdock Aubry, Haoming Meng, Anton Sugolov, Vardan Papyan
فرمت مقاله انگلیسی PDF
تعداد صفحات 31
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Machine Learning,Artificial Intelligence,Computation and Language,یادگیری ماشین , هوش مصنوعی , محاسبات و زبان ,
توضیحات Submitted 10 July, 2024; originally announced July 2024.
توضیحات به فارسی 10 ژوئیه 2024 ارسال شد.در ابتدا ژوئیه 2024 اعلام شد.
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Large Language Models (LLMs) have made significant strides in natural language processing, and a precise understanding of the internal mechanisms driving their success is essential. We regard LLMs as transforming embeddings via a discrete, coupled, nonlinear, dynamical system in high dimensions. This perspective motivates tracing the trajectories of individual tokens as they pass through transformer blocks, and linearizing the system along these trajectories through their Jacobian matrices. In our analysis of 38 openly available LLMs, we uncover the alignment of top left and right singular vectors of Residual Jacobians, as well as the emergence of linearity and layer-wise exponential growth. Notably, we discover that increased alignment $\textit{positively correlates}$ with model performance. Metrics evaluated post-training show significant improvement in comparison to measurements made with randomly initialized weights, highlighting the significant effects of training in transformers. These findings reveal a remarkable level of regularity that has previously been overlooked, reinforcing the dynamical interpretation and paving the way for deeper understanding and optimization of LLM architectures.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLM) در پردازش زبان طبیعی گام های قابل توجهی برداشته اند و درک دقیق از مکانیسم های داخلی منجر به موفقیت آنها ضروری است.ما LLM ها را به عنوان تعبیه کننده از طریق یک سیستم گسسته ، همراه ، غیرخطی ، دینامیکی در ابعاد بالا در نظر می گیریم.این دیدگاه انگیزه ای را برای ردیابی مسیرهای نشانه های انفرادی در هنگام عبور از بلوک های ترانسفورماتور ، و خطی کردن سیستم در طول این مسیرها از طریق ماتریس های ژاکوبی خود ایجاد می کند.در تجزیه و تحلیل ما از 38 LLM های آشکارا در دسترس ، ما از تراز بردارهای مفرد بالا و راست ژاکوبیان باقیمانده و همچنین ظهور خطی و رشد نمایی لایه ای پرده برداری می کنیم.نکته قابل توجه ، ما می دانیم که افزایش تراز $ \ textit {با عملکرد مدل} $ با همبستگی مثبت است.معیارها ارزیابی شده پس از آموزش نشان می دهد پیشرفت قابل توجهی در مقایسه با اندازه گیری های انجام شده با وزن های اولیه به طور تصادفی ، تأثیرات قابل توجهی از آموزش در ترانسفورماتورها را برجسته می کند.این یافته ها سطح قابل توجهی از نظم را نشان می دهد که قبلاً نادیده گرفته شده است ، تفسیر دینامیکی را تقویت کرده و راه را برای درک عمیق تر و بهینه سازی معماری های LLM هموار می کند.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.