ترجمه فارسی مقاله بهینه سازی اختصاصی لایه: جستجوی لایه های حلقوی مبتنی بر حساسیت

چکیده

Deep neural network models have a complex architecture and are overparameterized. The number of parameters is more than the whole dataset, which is highly resource-consuming. This complicates their application and limits its usage on different devices. Reduction in the number of network parameters helps to reduce the size of the model, but at the same time, thoughtlessly applied, can lead to a deterioration in the quality of the network. One way to reduce the number of model parameters is matrix decomposition, where a matrix is represented as a product of smaller matrices. In this paper, we propose a new way of applying the matrix decomposition with respect to the weights of convolutional layers. The essence of the method is to train not all convolutions, but only the subset of convolutions (basis convolutions), and represent the rest as linear combinations of the basis ones. Experiments on models from the ResNet family and the CIFAR-10 dataset demonstrate that basis convolutions can not only reduce the size of the model but also accelerate the forward and backward passes of the network. Another contribution of this work is that we propose a fast method for selecting a subset of network layers in which the use of matrix decomposition does not degrade the quality of the final model.

چکیده به فارسی (ترجمه ماشینی)

مدل های شبکه عصبی عمیق دارای معماری پیچیده ای هستند و بیش از حد پارامتر می شوند.تعداد پارامترها بیشتر از کل مجموعه داده ها است که بسیار مصرف کننده است.این کاربرد آنها را پیچیده می کند و استفاده از آن در دستگاه های مختلف را محدود می کند.کاهش تعداد پارامترهای شبکه به کاهش اندازه مدل کمک می کند ، اما در عین حال بی فکر اعمال می شود ، می تواند منجر به وخامت در کیفیت شبکه شود.یکی از راه های کاهش تعداد پارامترهای مدل ، تجزیه ماتریس است ، جایی که یک ماتریس به عنوان محصول ماتریس های کوچکتر نشان داده می شود.در این مقاله ، ما یک روش جدید برای استفاده از تجزیه ماتریس با توجه به وزن لایه های حلقوی پیشنهاد می کنیم.ماهیت این روش آموزش همه پیچیدگی ها نیست ، بلکه فقط زیر مجموعه های پیچش (پیچش های پایه) است و بقیه را به عنوان ترکیب های خطی از پایه ها نشان می دهد.آزمایشات روی مدل های خانواده Resnet و مجموعه داده CIFAR-10 نشان می دهد که پیچش های پایه نه تنها می توانند اندازه مدل را کاهش دهند بلکه پاس های رو به جلو و عقب شبکه را نیز تسریع می کنند.سهم دیگر این کار این است که ما یک روش سریع برای انتخاب زیر مجموعه ای از لایه های شبکه ارائه می دهیم که در آن استفاده از تجزیه ماتریس باعث کاهش کیفیت مدل نهایی نمی شود.