ترجمه فارسی مقاله بررسی پراکندگی در شبکه‌های عصبی بازگشتی

چکیده

In the past few years, neural networks have evolved from simple Feedforward Neural Networks to more complex neural networks, such as Convolutional Neural Networks and Recurrent Neural Networks. Where CNNs are a perfect fit for tasks where the sequence is not important such as image recognition, RNNs are useful when order is important such as machine translation. An increasing number of layers in a neural network is one way to improve its performance, but it also increases its complexity making it much more time and power-consuming to train. One way to tackle this problem is to introduce sparsity in the architecture of the neural network. Pruning is one of the many methods to make a neural network architecture sparse by clipping out weights below a certain threshold while keeping the performance near to the original. Another way is to generate arbitrary structures using random graphs and embed them between an input and output layer of an Artificial Neural Network. Many researchers in past years have focused on pruning mainly CNNs, while hardly any research is done for the same in RNNs. The same also holds in creating sparse architectures for RNNs by generating and embedding arbitrary structures. Therefore, this thesis focuses on investigating the effects of the before-mentioned two techniques on the performance of RNNs. We first describe the pruning of RNNs, its impact on the performance of RNNs, and the number of training epochs required to regain accuracy after the pruning is performed. Next, we continue with the creation and training of Sparse Recurrent Neural Networks and identify the relation between the performance and the graph properties of its underlying arbitrary structure. We perform these experiments on RNN with Tanh nonlinearity (RNN-Tanh), RNN with ReLU nonlinearity (RNN-ReLU), GRU, and LSTM. Finally, we analyze and discuss the results achieved from both the experiments.

چکیده به فارسی (ترجمه ماشینی)

در چند سال گذشته ، شبکه های عصبی از شبکه های عصبی ساده به سمت شبکه های عصبی پیچیده تر مانند شبکه های عصبی حلقوی و شبکه های عصبی مکرر تکامل یافته اند.در جایی که CNN ها مناسب برای کارهایی هستند که دنباله مانند تشخیص تصویر مهم نیست ، RNN ها در صورت مهم بودن نظم مانند ترجمه ماشین مفید هستند.تعداد فزاینده ای از لایه ها در یک شبکه عصبی یکی از راه های بهبود عملکرد آن است ، اما همچنین باعث افزایش پیچیدگی آن می شود و باعث می شود که زمان و قدرت بیشتری برای آموزش داشته باشد.یکی از راه های مقابله با این مشکل ، معرفی کمبود در معماری شبکه عصبی است.هرس یکی از روشهای بسیاری برای ایجاد یک معماری شبکه عصبی با قطع وزنه ها در زیر آستانه خاص در حالی که عملکرد را نزدیک به اصل نگه می دارد.راه دیگر تولید ساختارهای دلخواه با استفاده از نمودارهای تصادفی و جاسازی آنها بین یک لایه ورودی و خروجی یک شبکه عصبی مصنوعی است.بسیاری از محققان در سالهای گذشته بر هرس عمدتاً CNN ها متمرکز شده اند ، در حالی که به سختی هیچ تحقیق برای همان در RNN ها انجام می شود.همین امر در ایجاد معماری های پراکنده برای RNN ها با تولید و تعبیه سازه های دلخواه نیز وجود دارد.بنابراین ، این پایان نامه بر بررسی اثرات دو تکنیک قبل از ذکر بر عملکرد RNN ها متمرکز است.ما ابتدا هرس RNN ها ، تأثیر آن بر عملکرد RNN ها و تعداد دوره های آموزشی مورد نیاز برای بازیابی دقت پس از انجام هرس را توصیف می کنیم.در مرحله بعد ، ما با ایجاد و آموزش شبکه های عصبی مکرر پراکنده ادامه می دهیم و رابطه بین عملکرد و خصوصیات نمودار ساختار خودسرانه اساسی آن را مشخص می کنیم.ما این آزمایشات را در مورد RNN با غیرخطی TANH (RNN-TANH) ، RNN با غیرخطی RELU (RNN-RELU) ، GRU و LSTM انجام می دهیم.سرانجام ، ما نتایج حاصل از هر دو آزمایش را تجزیه و تحلیل و بحث می کنیم.