ترجمه فارسی مقاله فعال‌سازی‌ها از طریق افزونه‌ها: چارچوبی برای افزایش عملکرد شبکه‌های عصبی

چکیده

Activation functions are non-linearities in neural networks that allow them to learn complex mapping between inputs and outputs. Typical choices for activation functions are ReLU, Tanh, Sigmoid etc., where the choice generally depends on the application domain. In this work, we propose a framework/strategy that unifies several works on activation functions and theoretically explains the performance benefits of these works. We also propose novel techniques that originate from the framework and allow us to obtain “extensions” (i.e. special generalizations of a given neural network) of neural networks through operations on activation functions. We theoretically and empirically show that “extensions” of neural networks have performance benefits compared to vanilla neural networks with insignificant space and time complexity costs on standard test functions. We also show the benefits of neural network “extensions” in the time-series domain on real-world datasets.

چکیده به فارسی (ترجمه ماشینی)

توابع فعال سازی غیرخطی در شبکه های عصبی است که به آنها امکان می دهد نقشه برداری پیچیده بین ورودی ها و خروجی ها را بیاموزند.گزینه های معمولی برای توابع فعال سازی عبارتند از: Relu ، Tanh ، Sigmoid و غیره ، که در آن انتخاب به طور کلی به دامنه برنامه بستگی دارد.در این کار ، ما یک چارچوب/استراتژی را پیشنهاد می کنیم که چندین اثر در مورد عملکردهای فعال سازی را متحد می کند و از لحاظ نظری مزایای عملکرد این آثار را توضیح می دهد.ما همچنین تکنیک های جدیدی را پیشنهاد می کنیم که از چارچوب سرچشمه گرفته و به ما امکان می دهد “پسوندها” (یعنی کلیات ویژه یک شبکه عصبی معین) از شبکه های عصبی را از طریق عملیات در عملکردهای فعال سازی بدست آوریم.ما از لحاظ تئوریکی و تجربی نشان می دهیم که “پسوندها” شبکه های عصبی در مقایسه با شبکه های عصبی وانیل با فضای ناچیز و هزینه های پیچیدگی زمان در عملکردهای آزمون استاندارد ، دارای مزایای عملکرد هستند.ما همچنین مزایای شبکه عصبی “پسوندها” را در حوزه سری زمانی در مجموعه داده های دنیای واقعی نشان می دهیم.