ترجمه فارسی مقاله تعمیم خارج از توزیع از طریق ترکیب: یک لنز از طریق سرهای القایی در ترانسفورماتورها

انتخاب پلن

انتخاب پلن برای ادامه خرید الزامی است.

عنوان مقاله به انگلیسی Out-of-distribution generalization via composition: a lens through induction heads in Transformers
عنوان مقاله به فارسی تعمیم خارج از توزیع از طریق ترکیب: یک لنز از طریق سرهای القایی در ترانسفورماتورها
نویسندگان Jiajun Song, Zhuoyan Xu, Yiqiao Zhong
فرمت مقاله انگلیسی PDF
تعداد صفحات 41
لینک دانلود رایگان مقاله انگلیسی دانلود مقاله
دسته بندی موضوعات Computation and Language,Artificial Intelligence,Machine Learning,Machine Learning,محاسبات و زبان , هوش مصنوعی , یادگیری ماشین , یادگیری ماشین ,
توضیحات Submitted 18 August, 2024; originally announced August 2024. , Comments: 41 pages, 25 figures
توضیحات به فارسی ارائه شده در 18 اوت 2024 ؛در ابتدا اوت 2024 اعلام شد ، نظرات: 41 صفحه ، 25 شکل
اطلاعات بیشتر از این مقاله در پایگاه های علمی INSPIRE HEP
NASA ADS
Google Scholar
Semantic Scholar

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

چکیده

Large language models (LLMs) such as GPT-4 sometimes appear to be creative, solving novel tasks often with a few demonstrations in the prompt. These tasks require the models to generalize on distributions different from those from training data -- which is known as out-of-distribution (OOD) generalization. Despite the tremendous success of LLMs, how they approach OOD generalization remains an open and underexplored question. We examine OOD generalization in settings where instances are generated according to hidden rules, including in-context learning with symbolic reasoning. Models are required to infer the hidden rules behind input prompts without any fine-tuning. We empirically examined the training dynamics of Transformers on a synthetic example and conducted extensive experiments on a variety of pretrained LLMs, focusing on a type of components known as induction heads. We found that OOD generalization and composition are tied together -- models can learn rules by composing two self-attention layers, thereby achieving OOD generalization. Furthermore, a shared latent subspace in the embedding (or feature) space acts as a bridge for composition by aligning early layers and later layers, which we refer to as the common bridge representation hypothesis.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) مانند GPT-4 گاهی اوقات خلاق به نظر می رسند و کارهای جدید را اغلب با چند تظاهرات در سریع حل می کنند.این وظایف به مدل ها نیاز دارند تا در توزیع های مختلف از داده های آموزش-که به عنوان تعمیم خارج از توزیع (OOD) شناخته می شود ، تعمیم دهد.علیرغم موفقیت فوق العاده LLMS ، نحوه نزدیک شدن به تعمیم عمومی ، همچنان یک سؤال باز و نامشخص است.ما تعمیم OOD را در تنظیماتی که نمونه ها طبق قوانین پنهان تولید می شوند ، از جمله یادگیری درون متن با استدلال نمادین ، ​​بررسی می کنیم.مدل ها برای استنباط قوانین پنهان در پشت ارسال های ورودی و بدون تنظیم دقیق استنباط می شوند.ما به طور تجربی پویایی آموزش ترانسفورماتورها را در یک مثال مصنوعی مورد بررسی قرار دادیم و آزمایش های گسترده ای را در مورد انواع LLM های پیش ساخته انجام دادیم ، با تمرکز بر نوعی از مؤلفه های شناخته شده به عنوان سرهای القایی.ما دریافتیم که تعمیم و ترکیب OOD با هم گره خورده است-مدل ها می توانند با آهنگسازی دو لایه خودآگاهی ، قوانین را بیاموزند و از این طریق به تعمیم OOD دست یابند.علاوه بر این ، یک فضای مشترک نهفته در فضای تعبیه (یا ویژگی) به عنوان پلی برای ترکیب با تراز کردن لایه های اولیه و لایه های بعدی عمل می کند ، که ما از آن به عنوان فرضیه بازنمایی پل مشترک یاد می کنیم.

📚 محتوای این محصول آموزشی (پکیج کامل)

علاوه بر مقاله اصلی انگلیسی که دریافت می کنید، برای یادگیری عمیق‌تر و تسلط کامل بر مباحث مجموعه‌ای از کتاب‌های آموزشی نیز ارائه می‌شود.

🎯 این بسته یک دورهٔ آموزشی کامل و چندلایه است؛ شامل ویدیوهای آموزشی، کتاب‌ها، تمرین‌ها و خودآزمایی.

ℹ️ نکات مهم هنگام خرید

  • این محصول به صورت فایل دانلودی کامل ارائه می‌شود.
  • توجه: لینک‌های اختصاصی دوره طی حداکثر 24 ساعت پس از ثبت سفارش ارسال می‌شوند.
  • دقت کنید لینک ها به شماره موبایل شما ارسال می شوند. پس در ارائه شماره موبایل صحیح دقت کنید.
  • برای راهنمایی در مورد نحوه دانلود به شماره 09395106248 پیامک دهید یا تماس بگیرید. (ایده آل ترین گزینه ارسال پیام در یکی از پیام رسان ها به همین شماره است تا سریعا لینک های محصول همان جا برای شما ارسال گردد.)
  • اگر پرداخت انجام شده ولی بعد از 24 ساعت هنوز لینک‌ها را دریافت نکرده‌اید، نام و نام خانوادگی و نام محصول را پیامک کنید تا لینک‌ها دوباره ارسال شوند.

💬 راه‌های ارتباطی پشتیبانی:
واتس‌اپ یا هر پیام رسان داخلی یا پیامک: 09395106248
تلگرام: @ma_limbs

نظرات

هنوز نظری ثبت نشده است.

وارد شوید تا نظر ثبت کنید.