ترجمه فارسی مقاله عملیات بلوکی: استفاده از مسیریابی ماژولار برای بهبود تعمیم ترکیبی

چکیده

We explore the hypothesis that poor compositional generalization in neural networks is caused by difficulties with learning effective routing. To solve this problem, we propose the concept of block-operations, which is based on splitting all activation tensors in the network into uniformly sized blocks and using an inductive bias to encourage modular routing and modification of these blocks. Based on this concept we introduce the Multiplexer, a new architectural component that enhances the Feed Forward Neural Network (FNN). We experimentally confirm that Multiplexers exhibit strong compositional generalization. On both a synthetic and a realistic task our model was able to learn the underlying process behind the task, whereas both FNNs and Transformers were only able to learn heuristic approximations. We propose as future work to use the principles of block-operations to improve other existing architectures.

چکیده به فارسی (ترجمه ماشینی)

ما این فرضیه را بررسی می کنیم که تعمیم ضعیف ترکیبی در شبکه های عصبی ناشی از مشکلات در یادگیری مسیریابی مؤثر است.برای حل این مشکل ، ما مفهوم عملیات بلوک را پیشنهاد می کنیم ، که مبتنی بر تقسیم تمام تانسرهای فعال سازی در شبکه به بلوک های یکنواخت و استفاده از یک تعصب القایی برای تشویق مسیریابی مدولار و اصلاح این بلوک ها است.بر اساس این مفهوم ما مولتیپلکسر را معرفی می کنیم ، یک مؤلفه جدید معماری که باعث تقویت شبکه عصبی Feed Forward (FNN) می شود.ما به طور تجربی تأیید می کنیم که چندگانه کننده ها تعمیم ترکیبی قوی دارند.در هر دو کار مصنوعی و واقع بینانه ، مدل ما قادر به یادگیری روند اساسی در پشت کار بود ، در حالی که هم FNN ها و هم ترانسفورماتورها فقط قادر به یادگیری تقریبی اکتشافی بودند.ما به عنوان کار آینده پیشنهاد می کنیم تا از اصول عملیات بلوک برای بهبود سایر معماری های موجود استفاده کنیم.