ترجمه فارسی مقاله UnifiedNN: آموزش کارآمد شبکه عصبی روی فضای ابری

چکیده

Nowadays, cloud-based services are widely favored over the traditional approach of locally training a Neural Network (NN) model. Oftentimes, a cloud service processes multiple requests from users–thus training multiple NN models concurrently. However, training NN models concurrently is a challenging process, which typically requires significant amounts of available computing resources and takes a long time to complete. In this paper, we present UnifiedNN to effectively train multiple NN models concurrently on the cloud. UnifiedNN effectively “combines” multiple NN models and features several memory and time conservation mechanisms to train multiple NN models simultaneously without impacting the accuracy of the training process. Specifically, UnifiedNN merges multiple NN models and creates a large singular unified model in order to efficiently train all models at once. We have implemented a prototype of UnifiedNN in PyTorch and we have compared its performance with relevant state-of-the-art frameworks. Our experimental results demonstrate that UnifiedNN can reduce memory consumption by up to 53% and training time by up to 81% when compared with vanilla PyTorch without impacting the model training and testing accuracy. Finally, our results indicate that UnifiedNN can reduce memory consumption by up to 52% and training time by up to 41% when compared to state-of-the-art frameworks when training multiple models concurrently.

چکیده به فارسی (ترجمه ماشینی)

امروزه ، خدمات مبتنی بر ابر به طور گسترده ای از رویکرد سنتی آموزش محلی یک مدل شبکه عصبی (NN) مورد علاقه قرار می گیرند.اغلب اوقات ، یک سرویس ابری چندین درخواست از کاربران را پردازش می کند-بنابراین آموزش چندین مدل NN به طور همزمان.با این حال ، آموزش مدلهای NN به طور همزمان یک فرآیند چالش برانگیز است ، که به طور معمول به مقادیر قابل توجهی از منابع محاسباتی موجود نیاز دارد و برای تکمیل مدت زمان زیادی طول می کشد.در این مقاله ، ما یک Unifiednn را ارائه می دهیم تا به طور مؤثر چندین مدل NN را به طور همزمان بر روی ابر آموزش دهیم.Unifiednn به طور موثری “چندین مدل NN” را با هم ترکیب می کند و چندین مکانیسم حفاظت از حافظه و زمان را برای آموزش چندین مدل NN به طور همزمان بدون تأثیر در صحت فرایند آموزش ارائه می دهد.به طور خاص ، Unifiednn چندین مدل NN را ادغام می کند و یک مدل یکپارچه بزرگ واحد ایجاد می کند تا بتواند تمام مدلها را به طور همزمان آموزش دهد.ما یک نمونه اولیه از UnifiedNN را در Pytorch پیاده سازی کرده ایم و عملکرد آن را با چارچوب های پیشرفته و پیشرفته مقایسه کرده ایم.نتایج تجربی ما نشان می دهد که UnifiedNN می تواند مصرف حافظه را تا 53 ٪ کاهش دهد و زمان تمرین را تا 81 ٪ در مقایسه با وانیل پیوتورچ بدون تأثیر در آموزش مدل و دقت آزمایش مقایسه کند.سرانجام ، نتایج ما نشان می دهد که UnifiedNN می تواند مصرف حافظه را تا 52 ٪ کاهش دهد و زمان آموزش را تا 41 ٪ در مقایسه با چارچوب های پیشرفته در هنگام آموزش چندین مدل به طور همزمان کاهش دهد.