ترجمه فارسی مقاله کاهش ابعاد عظیم و هیبریداسیون با متا-هورستیک در یادگیری عمیق

چکیده

Deep learning is mainly based on utilizing gradient-based optimization for training Deep Neural Network (DNN) models. Although robust and widely used, gradient-based optimization algorithms are prone to getting stuck in local minima. In this modern deep learning era, the state-of-the-art DNN models have millions and billions of parameters, including weights and biases, making them huge-scale optimization problems in terms of search space. Tuning a huge number of parameters is a challenging task that causes vanishing/exploding gradients and overfitting; likewise, utilized loss functions do not exactly represent our targeted performance metrics. A practical solution to exploring large and complex solution space is meta-heuristic algorithms. Since DNNs exceed thousands and millions of parameters, even robust meta-heuristic algorithms, such as Differential Evolution, struggle to efficiently explore and converge in such huge-dimensional search spaces, leading to very slow convergence and high memory demand. To tackle the mentioned curse of dimensionality, the concept of blocking was recently proposed as a technique that reduces the search space dimensions by grouping them into blocks. In this study, we aim to introduce Histogram-based Blocking Differential Evolution (HBDE), a novel approach that hybridizes gradient-based and gradient-free algorithms to optimize parameters. Experimental results demonstrated that the HBDE could reduce the parameters in the ResNet-18 model from 11M to 3K during the training/optimizing phase by metaheuristics, namely, the proposed HBDE, which outperforms baseline gradient-based and parent gradient-free DE algorithms evaluated on CIFAR-10 and CIFAR-100 datasets showcasing its effectiveness with reduced computational demands for the very first time.

چکیده به فارسی (ترجمه ماشینی)

یادگیری عمیق عمدتاً مبتنی بر استفاده از بهینه سازی مبتنی بر گرادیان برای آموزش مدلهای شبکه عصبی عمیق (DNN) است.اگرچه مستحکم و به طور گسترده استفاده می شود ، الگوریتم های بهینه سازی مبتنی بر شیب مستعد ابتلا به حداقل محلی هستند.در این دوره یادگیری عمیق مدرن ، مدلهای پیشرفته DNN دارای میلیون ها و میلیارد ها پارامتر از جمله وزن و تعصب هستند و آنها را از نظر فضای جستجو ، مشکلات بهینه سازی در مقیاس بزرگ ایجاد می کند.تنظیم تعداد زیادی از پارامترها یک کار چالش برانگیز است که باعث ناپدید شدن/منفجر شدن شیب و بیش از حد می شود.به همین ترتیب ، توابع از دست دادن استفاده شده دقیقاً معیارهای عملکرد هدفمند ما را نشان نمی دهند.یک راه حل عملی برای کاوش در فضای راه حل بزرگ و پیچیده ، الگوریتم های متا-هوریستی است.از آنجا که DNN ها از هزاران و میلیون ها پارامتر فراتر می روند ، حتی الگوریتم های متا-هوریستی قوی ، مانند تکامل دیفرانسیل ، تلاش برای کشف و همگرایی در چنین فضاهای جستجوی بزرگ بعدی ، و منجر به همگرایی بسیار کند و تقاضای حافظه زیاد می شود.برای مقابله با نفرین ذکر شده از ابعاد ، اخیراً مفهوم مسدود کردن به عنوان تکنیکی پیشنهاد شده است که با گروه بندی آنها در بلوک ، ابعاد فضای جستجو را کاهش می دهد.در این مطالعه ، ما با هدف معرفی تکامل دیفرانسیل مسدود کننده مبتنی بر هیستوگرام (HBDE) ، یک رویکرد جدید که الگوریتم های مبتنی بر شیب و بدون شیب را برای بهینه سازی پارامترها هیبرید می کند.نتایج تجربی نشان داد که HBDE می تواند پارامترهای موجود در مدل RESNET-18 را از 11m به 3K در مرحله آموزش/بهینه سازی توسط متهوریستی ، یعنی HBDE پیشنهادی ، که از الگوریتم های بدون گرادیان پایه و پایه و اساس است ، ارزیابی کند.مجموعه داده های CIFAR-10 و CIFAR-100 که اثربخشی آن را با کاهش تقاضای محاسباتی برای اولین بار نشان می دهند.