ترجمه فارسی مقاله خوشه بندی و تراز: درک پویایی آموزش در افزودن ماژولار

چکیده

Recent studies have revealed that neural networks learn interpretable algorithms for many simple problems. However, little is known about how these algorithms emerge during training. In this article, we study the training dynamics of a simplified transformer with 2-dimensional embeddings on the problem of modular addition. We observe that embedding vectors tend to organize into two types of structures: grids and circles. We study these structures and explain their emergence as a result of two simple tendencies exhibited by pairs of embeddings: clustering and alignment. We propose explicit formulae for these tendencies as interaction forces between different pairs of embeddings. To show that our formulae can fully account for the emergence of these structures, we construct an equivalent particle simulation where we find that identical structures emerge. We use our insights to discuss the role of weight decay and reveal a new mechanism that links regularization and training dynamics. We also release an interactive demo to support our findings: https://modular-addition.vercel.app/.

چکیده به فارسی (ترجمه ماشینی)

مطالعات اخیر نشان داده است که شبکه های عصبی الگوریتم های قابل تفسیر را برای بسیاری از مشکلات ساده یاد می گیرند.با این حال ، در مورد چگونگی ظهور این الگوریتم ها در طول آموزش ، اطلاعات کمی وجود دارد.در این مقاله ، ما دینامیک آموزش یک ترانسفورماتور ساده با تعبیه 2 بعدی در مورد مشکل علاوه بر ماژولار را مطالعه می کنیم.ما مشاهده می کنیم که بردارهای تعبیه شده تمایل به سازماندهی در دو نوع ساختار دارند: شبکه ها و دایره ها.ما این ساختارها را مطالعه می کنیم و ظهور آنها را در نتیجه دو گرایش ساده به نمایش گذاشته شده توسط جفت تعبیه ها توضیح می دهیم: خوشه بندی و تراز.ما فرمول های صریح را برای این گرایش ها به عنوان نیروهای تعامل بین جفت های مختلف تعبیه پیشنهاد می کنیم.برای نشان دادن اینکه فرمول های ما می توانند به طور کامل برای ظهور این ساختارها به حساب بیایند ، ما یک شبیه سازی ذرات معادل را ایجاد می کنیم که در آن می بینیم که ساختارهای یکسان پدیدار می شوند.ما از بینش های خود برای بحث در مورد نقش پوسیدگی وزن استفاده می کنیم و مکانیسم جدیدی را نشان می دهیم که پیوند منظم و دینامیک را پیوند می دهد.ما همچنین یک نسخه ی نمایشی تعاملی را برای پشتیبانی از یافته های خود منتشر می کنیم: https://modular-addition.vercel.app/.