ترجمه فارسی مقاله اقدامات پیشرفت-نظری اطلاعات نشان می دهد که Grokking یک انتقال فاز در حال ظهور است

چکیده

This paper studies emergent phenomena in neural networks by focusing on grokking where models suddenly generalize after delayed memorization. To understand this phase transition, we utilize higher-order mutual information to analyze the collective behavior (synergy) and shared properties (redundancy) between neurons during training. We identify distinct phases before grokking allowing us to anticipate when it occurs. We attribute grokking to an emergent phase transition caused by the synergistic interactions between neurons as a whole. We show that weight decay and weight initialization can enhance the emergent phase.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله پدیده های ظهور در شبکه های عصبی با تمرکز بر روی Grokking که در آن مدل ها به طور ناگهانی پس از تأخیر در حفظ کردن تعمیم می یابد ، بررسی می شود.برای درک این انتقال فاز ، ما از اطلاعات متقابل مرتبه بالاتر برای تجزیه و تحلیل رفتار جمعی (هم افزایی) و خصوصیات مشترک (افزونگی) بین نورون ها در طول آموزش استفاده می کنیم.ما فازهای متمایز را قبل از grokking شناسایی می کنیم و به ما امکان می دهد که چه موقع اتفاق بیفتد.ما Grokking را به یک انتقال فاز نوظهور ناشی از تعامل هم افزایی بین نورونها به طور کلی نسبت می دهیم.ما نشان می دهیم که پوسیدگی وزن و اولیه سازی وزن می تواند مرحله نوظهور را افزایش دهد.