ترجمه فارسی مقاله ZNorm: نرمال‌سازی گرادیان امتیاز Z برای شبکه‌های عصبی عمیق

چکیده

The rapid advancements in deep learning necessitate better training methods for deep neural networks (DNNs). As models grow in complexity, vanishing and exploding gradients impede performance. We propose Z-Score Normalization for Gradient Descent (ZNorm), an innovative technique that adjusts only the gradients to accelerate training and improve model performance. ZNorm normalizes the overall gradients, providing consistent gradient scaling across layers, thereby reducing the risks of vanishing and exploding gradients, having better performances. Our extensive experiments on CIFAR-10 and medical datasets demonstrate that ZNorm enhances performance metrics. ZNorm consistently outperforms existing methods, achieving superior results using the same experimental settings. In medical imaging applications, ZNorm improves tumor prediction and segmentation performances, underscoring its practical utility. These findings highlight ZNorm’s potential as a robust and versatile tool for enhancing the training speed and effectiveness of deep neural networks across a wide range of architectures and applications.

چکیده به فارسی (ترجمه ماشینی)

پیشرفت های سریع در یادگیری عمیق نیاز به روش های بهتر آموزش برای شبکه های عصبی عمیق (DNNS) دارد.با رشد مدل ها در پیچیدگی ، شیب ناپدید شده و منفجر کننده مانع عملکرد می شود.ما عادی سازی نمره Z را برای نزول شیب (Znorm) پیشنهاد می کنیم ، یک تکنیک نوآورانه که فقط شیب ها را برای تسریع در آموزش و بهبود عملکرد مدل تنظیم می کند.ZNORM شیب های کلی را عادی می کند و مقیاس شیب مداوم را در بین لایه ها فراهم می کند و از این طریق خطرات ناپدید شدن و منفجر شدن شیب ها را کاهش می دهد و عملکرد بهتری دارد.آزمایش های گسترده ما در مورد مجموعه داده های CIFAR-10 و پزشکی نشان می دهد که ZNORM معیارهای عملکرد را افزایش می دهد.ZNORM به طور مداوم از روشهای موجود بهتر عمل می کند و با استفاده از همان تنظیمات آزمایشی به نتایج برتر می رسد.در کاربردهای تصویربرداری پزشکی ، Znorm پیش بینی تومور و عملکرد تقسیم بندی را بهبود می بخشد و تأکید می کند که ابزار عملی آن است.این یافته ها پتانسیل Znorm را به عنوان ابزاری قوی و همه کاره برای تقویت سرعت آموزش و اثربخشی شبکه های عصبی عمیق در طیف گسترده ای از معماری ها و برنامه های کاربردی برجسته می کند.