ترجمه فارسی مقاله چرا شبکه‌های واحد برق یکسو شده شکست می‌خورند و چگونه می‌توان آن را بهبود بخشید: یک دیدگاه تئوری مؤثر

چکیده

The Rectified Power Unit (RePU) activation functions, unlike the Rectified Linear Unit (ReLU), have the advantage of being a differentiable function when constructing neural networks. However, it can be experimentally observed when deep layers are stacked, neural networks constructed with RePU encounter critical issues. These issues include the values exploding or vanishing and failure of training. And these happen regardless of the hyperparameter initialization. From the perspective of effective theory, we aim to identify the causes of this phenomenon and propose a new activation function that retains the advantages of RePU while overcoming its drawbacks.

چکیده به فارسی (ترجمه ماشینی)

توابع فعال سازی واحد قدرت اصلاح شده (Repu) ، بر خلاف واحد خطی اصلاح شده (RELU) ، این مزیت را دارند که هنگام ساخت شبکه های عصبی یک عملکرد متفاوت باشد.با این حال ، می توان به صورت تجربی مشاهده کرد که لایه های عمیق انباشته می شوند ، شبکه های عصبی ساخته شده با مشکلات مهم روبرو هستند.این موضوعات شامل مقادیر منفجر شدن یا ناپدید شدن و عدم موفقیت آموزش است.و این اتفاق می افتد بدون در نظر گرفتن اولیه سازی هایپرپارامتر.از منظر تئوری مؤثر ، ما هدف ما شناسایی علل این پدیده و پیشنهاد یک عملکرد فعال سازی جدید است که ضمن غلبه بر اشکالات آن ، مزایای repu را حفظ می کند.