ترجمه فارسی مقاله تعمیم خارج از توزیع از طریق ترکیب: یک لنز از طریق سرهای القایی در ترانسفورماتورها

چکیده

Large language models (LLMs) such as GPT-4 sometimes appear to be creative, solving novel tasks often with a few demonstrations in the prompt. These tasks require the models to generalize on distributions different from those from training data — which is known as out-of-distribution (OOD) generalization. Despite the tremendous success of LLMs, how they approach OOD generalization remains an open and underexplored question. We examine OOD generalization in settings where instances are generated according to hidden rules, including in-context learning with symbolic reasoning. Models are required to infer the hidden rules behind input prompts without any fine-tuning. We empirically examined the training dynamics of Transformers on a synthetic example and conducted extensive experiments on a variety of pretrained LLMs, focusing on a type of components known as induction heads. We found that OOD generalization and composition are tied together — models can learn rules by composing two self-attention layers, thereby achieving OOD generalization. Furthermore, a shared latent subspace in the embedding (or feature) space acts as a bridge for composition by aligning early layers and later layers, which we refer to as the common bridge representation hypothesis.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLMS) مانند GPT-4 گاهی اوقات خلاق به نظر می رسند و کارهای جدید را اغلب با چند تظاهرات در سریع حل می کنند.این وظایف به مدل ها نیاز دارند تا در توزیع های مختلف از داده های آموزش-که به عنوان تعمیم خارج از توزیع (OOD) شناخته می شود ، تعمیم دهد.علیرغم موفقیت فوق العاده LLMS ، نحوه نزدیک شدن به تعمیم عمومی ، همچنان یک سؤال باز و نامشخص است.ما تعمیم OOD را در تنظیماتی که نمونه ها طبق قوانین پنهان تولید می شوند ، از جمله یادگیری درون متن با استدلال نمادین ، ​​بررسی می کنیم.مدل ها برای استنباط قوانین پنهان در پشت ارسال های ورودی و بدون تنظیم دقیق استنباط می شوند.ما به طور تجربی پویایی آموزش ترانسفورماتورها را در یک مثال مصنوعی مورد بررسی قرار دادیم و آزمایش های گسترده ای را در مورد انواع LLM های پیش ساخته انجام دادیم ، با تمرکز بر نوعی از مؤلفه های شناخته شده به عنوان سرهای القایی.ما دریافتیم که تعمیم و ترکیب OOD با هم گره خورده است-مدل ها می توانند با آهنگسازی دو لایه خودآگاهی ، قوانین را بیاموزند و از این طریق به تعمیم OOD دست یابند.علاوه بر این ، یک فضای مشترک نهفته در فضای تعبیه (یا ویژگی) به عنوان پلی برای ترکیب با تراز کردن لایه های اولیه و لایه های بعدی عمل می کند ، که ما از آن به عنوان فرضیه بازنمایی پل مشترک یاد می کنیم.