ترجمه فارسی مقاله مدل های زبان

چکیده

We examine the pre-training dynamics of language models, focusing on their ability to copy text from preceding context–a fundamental skill for various LLM applications, including in-context learning (ICL) and retrieval-augmented generation (RAG). We propose a novel perspective that Transformer-based language models develop copying abilities similarly to grokking, which refers to sudden generalization on test set long after the model fit to the training set. Our experiments yield three arguments: (1) The pre-training loss decreases rapidly, while the context copying ability of models initially lags and then abruptly saturates. (2) The speed of developing copying ability is independent of the number of tokens trained, similarly to how grokking speed is unaffected by dataset size as long as the data distribution is preserved. (3) Induction heads, the attention heads responsible for copying, form from shallow to deep layers during training, mirroring the development of circuits in deeper layers during grokking. We contend that the connection between grokking and context copying can provide valuable insights for more effective language model training, ultimately improving in-context performance. For example, we demonstrated that techniques that enhance grokking, such as regularization, either accelerate or enhance the development of context copying.

چکیده به فارسی (ترجمه ماشینی)

ما پویایی قبل از آموزش مدل های زبان را بررسی می کنیم ، با تمرکز بر توانایی آنها در کپی کردن متن از متن قبلی-یک مهارت اساسی برای برنامه های مختلف LLM ، از جمله یادگیری درون متن (ICL) و نسل بازیابی (RAG).ما یک دیدگاه جدید را ارائه می دهیم که مدل های زبان مبتنی بر ترانسفورماتور توانایی های کپی کردن را به طور مشابه با Grokking توسعه می دهند ، که به تعمیم ناگهانی در مجموعه آزمون ها اشاره دارد که مدت ها بعد از مدل متناسب با مجموعه آموزش است.آزمایشات ما سه استدلال ارائه می دهد: (1) ضرر قبل از آموزش به سرعت کاهش می یابد ، در حالی که توانایی کپی کردن زمینه مدل ها در ابتدا عقب مانده و سپس به طور ناگهانی اشباع می شود.(2) سرعت توسعه توانایی کپی کردن مستقل از تعداد نشانه های آموزش دیده است ، به طور مشابه با چگونگی عدم تأثیر Grokking با اندازه مجموعه داده تا زمانی که توزیع داده ها حفظ شود.(3) سران القایی ، توجه به سرهای مسئول کپی کردن ، شکل از لایه های کم عمق تا عمیق در طول آموزش ، آینه کاری مدارها در لایه های عمیق تر در حین grokking.ما ادعا می کنیم که ارتباط بین grokking و کپی کردن زمینه می تواند بینش های ارزشمندی را برای آموزش مدل زبان مؤثرتر فراهم کند ، در نهایت عملکرد درون متن را بهبود بخشد.به عنوان مثال ، ما نشان دادیم که تکنیک هایی که باعث افزایش گروکین می شوند ، مانند تنظیم ، شتاب یا تقویت توسعه کپی کردن زمینه را تسریع یا تقویت می کنیم.