ترجمه فارسی مقاله درک سوگیری سادگی نسبت به نگاشت ترکیبی از طریق دینامیک یادگیری

چکیده

Obtaining compositional mappings is important for the model to generalize well compositionally. To better understand when and how to encourage the model to learn such mappings, we study their uniqueness through different perspectives. Specifically, we first show that the compositional mappings are the simplest bijections through the lens of coding length (i.e., an upper bound of their Kolmogorov complexity). This property explains why models having such mappings can generalize well. We further show that the simplicity bias is usually an intrinsic property of neural network training via gradient descent. That partially explains why some models spontaneously generalize well when they are trained appropriately.

چکیده به فارسی (ترجمه ماشینی)

به دست آوردن نگاشتهای ترکیبی برای مدل برای تعمیم ترکیب چاه مهم است.برای درک بهتر چه موقع و چگونه الگوی را برای یادگیری چنین نقشه برداری ها تشویق می کنیم ، منحصر به فرد بودن آنها را از طریق دیدگاه های مختلف مطالعه می کنیم.به طور خاص ، ما ابتدا نشان می دهیم که نگاشتهای ترکیبی ساده ترین زندگی از طریق لنز طول کدگذاری هستند (یعنی ، محدوده بالایی از پیچیدگی Kolmogorov آنها).این خاصیت توضیح می دهد که چرا مدلهای دارای چنین نقشه برداری می توانند به خوبی تعمیم دهند.ما همچنین نشان می دهیم که تعصب سادگی معمولاً یک ویژگی ذاتی آموزش شبکه عصبی از طریق تبار شیب است.این تا حدی توضیح می دهد که چرا برخی از مدل ها به طور خودجوش در هنگام آموزش مناسب به خوبی تعمیم می دهند.