ترجمه فارسی مقاله AdaResNet: تقویت شبکه های باقیمانده با تنظیم وزن پویا برای یکپارچگی ویژگی های بهبود یافته

چکیده

In very deep neural networks, gradients can become extremely small during backpropagation, making it challenging to train the early layers. ResNet (Residual Network) addresses this issue by enabling gradients to flow directly through the network via skip connections, facilitating the training of much deeper networks. However, in these skip connections, the input ipd is directly added to the transformed data tfd, treating ipd and tfd equally, without adapting to different scenarios. In this paper, we propose AdaResNet (Auto-Adapting Residual Network), which automatically adjusts the ratio between ipd and tfd based on the training data. We introduce a variable, weight}_{tfd}^{ipd, to represent this ratio. This variable is dynamically adjusted during backpropagation, allowing it to adapt to the training data rather than remaining fixed. Experimental results demonstrate that AdaResNet achieves a maximum accuracy improvement of over 50\% compared to traditional ResNet.

چکیده به فارسی (ترجمه ماشینی)

در شبکه های عصبی بسیار عمیق ، شیب ها می توانند در طول بازگردانی بسیار کوچک شوند و آموزش لایه های اولیه را به چالش می کشد.RESNET (شبکه باقیمانده) با این امکان که شیب ها بتوانند مستقیماً از طریق شبکه از طریق اتصالات پرش مستقیم جریان پیدا کنند و آموزش شبکه های بسیار عمیق تر را تسهیل می کند ، به این مسئله می پردازد.با این حال ، در این اتصالات پرش ، IPD ورودی مستقیماً به داده های تبدیل شده TFD اضافه می شود ، بدون تطبیق با سناریوهای مختلف ، IPD و TFD را به طور مساوی درمان می کند.در این مقاله ، ما ADARESNET (شبکه باقیمانده سازگار با خودکار) را پیشنهاد می کنیم ، که به طور خودکار نسبت IPD و TFD را بر اساس داده های آموزش تنظیم می کند.ما یک متغیر ، وزن} _ {tfd}^{ipd را معرفی می کنیم تا این نسبت را نشان دهیم.این متغیر به صورت پویا در طول backpropagation تنظیم می شود و به آن اجازه می دهد تا به جای ثابت ماندن ، با داده های آموزش سازگار شود.نتایج تجربی نشان می دهد که ADARESNET در مقایسه با Resnet سنتی ، حداکثر دقت بیش از 50 ٪ را به دست می آورد.