ترجمه فارسی مقاله استفاده از دنباله‌های شبه‌ساندوم در یادگیری ماشین برای مقداردهی اولیه وزن مدل

چکیده

The effectiveness of training neural networks directly impacts computational costs, resource allocation, and model development timelines in machine learning applications. An optimizer’s ability to train the model adequately (in terms of trained model performance) depends on the model’s initial weights. Model weight initialization schemes use pseudorandom number generators (PRNGs) as a source of randomness. We investigate whether substituting PRNGs for low-discrepancy quasirandom number generators (QRNGs) — namely Sobol’ sequences — as a source of randomness for initializers can improve model performance. We examine Multi-Layer Perceptrons (MLP), Convolutional Neural Networks (CNN), Long Short-Term Memory (LSTM), and Transformer architectures trained on MNIST, CIFAR-10, and IMDB datasets using SGD and Adam optimizers. Our analysis uses ten initialization schemes: Glorot, He, Lecun (both Uniform and Normal); Orthogonal, Random Normal, Truncated Normal, and Random Uniform. Models with weights set using PRNG- and QRNG-based initializers are compared pairwise for each combination of dataset, architecture, optimizer, and initialization scheme. Our findings indicate that QRNG-based neural network initializers either reach a higher accuracy or achieve the same accuracy more quickly than PRNG-based initializers in 60% of the 120 experiments conducted. Thus, using QRNG-based initializers instead of PRNG-based initializers can speed up and improve model training.

چکیده به فارسی (ترجمه ماشینی)

اثربخشی آموزش شبکه های عصبی به طور مستقیم بر هزینه های محاسباتی ، تخصیص منابع و جدول زمانی توسعه مدل در برنامه های یادگیری ماشین تأثیر می گذارد.توانایی یک بهینه ساز در آموزش مناسب مدل (از نظر عملکرد مدل آموزش دیده) به وزن اولیه مدل بستگی دارد.طرح های اولیه سازی وزن مدل از ژنراتورهای شماره شبه گرا (PRNG) به عنوان منبع تصادفی استفاده می کنند.ما بررسی می کنیم که آیا جایگزین PRNG ها برای ژنراتورهای شماره شبه رژیم کم (QRNGs)-یعنی توالی SOBOL ‘-به عنوان منبع تصادفی برای ابتدایی ها می تواند عملکرد مدل را بهبود بخشد.ما Perceptrons چند لایه (MLP) ، شبکه های عصبی حلقوی (CNN) ، حافظه کوتاه مدت طولانی (LSTM) و معماری های ترانسفورماتور را که در مجموعه داده های MNIST ، CIFAR-10 و IMDB با استفاده از SGD و Adam Optimizers آموزش داده شده است ، بررسی می کنیم.تجزیه و تحلیل ما از ده طرح اولیه سازی استفاده می کند: Glorot ، He ، Lecun (هم یکنواخت و هم طبیعی).متعامد ، عادی تصادفی ، کوتاه و لباس تصادفی.مدل هایی با وزنهای تنظیم شده با استفاده از اولیه سازهای مبتنی بر PRNG- و QRNG برای هر ترکیبی از مجموعه داده ها ، معماری ، بهینه ساز و طرح اولیه مقایسه می شوند.یافته های ما نشان می دهد که ابتدایی شبکه های عصبی مبتنی بر QRNG یا به دقت بالاتری می رسند یا به سرعت بیشتری نسبت به ابتدای اولیه مبتنی بر PRNG در 60 ٪ از 120 آزمایش انجام شده دست می یابند.بنابراین ، با استفاده از اولیه سازهای مبتنی بر QRNG به جای ابتدای اولیه مبتنی بر PRNG می توانند سرعت و بهبود آموزش مدل را بهبود بخشند.