ترجمه فارسی مقاله خروج زودهنگام با استنتاج توزیع‌شده مبتنی بر مدل در شبکه‌های لبه‌ای (Edge Networks) ترکیب می‌شود.

چکیده

Distributed inference techniques can be broadly classified into data-distributed and model-distributed schemes. In data-distributed inference (DDI), each worker carries the entire deep neural network (DNN) model but processes only a subset of the data. However, feeding the data to workers results in high communication costs, especially when the data is large. An emerging paradigm is model-distributed inference (MDI), where each worker carries only a subset of DNN layers. In MDI, a source device that has data processes a few layers of DNN and sends the output to a neighboring device, i.e., offloads the rest of the layers. This process ends when all layers are processed in a distributed manner. In this paper, we investigate the design and development of MDI with early-exit, which advocates that there is no need to process all the layers of a model for some data to reach the desired accuracy, i.e., we can exit the model without processing all the layers if target accuracy is reached. We design a framework MDI-Exit that adaptively determines early-exit and offloading policies as well as data admission at the source. Experimental results on a real-life testbed of NVIDIA Nano edge devices show that MDI-Exit processes more data when accuracy is fixed and results in higher accuracy for the fixed data rate.

چکیده به فارسی (ترجمه ماشینی)

تکنیک های استنتاج توزیع شده را می توان به طور گسترده به طرح های توزیع شده داده و مدل تقسیم کرد.در استنتاج توزیع شده داده (DDI) ، هر کارگر کل مدل شبکه عصبی عمیق (DNN) را حمل می کند اما فقط یک زیر مجموعه از داده ها را پردازش می کند.با این حال ، تغذیه داده ها به کارگران منجر به هزینه های ارتباطی بالا می شود ، به ویژه هنگامی که داده ها بزرگ هستند.یک الگوی در حال ظهور استنتاج توزیع شده از مدل (MDI) است که در آن هر کارگر فقط زیر مجموعه ای از لایه های DNN را حمل می کند.در MDI ، یک دستگاه منبعی که دارای فرآیندهای داده چند لایه DNN است و خروجی را به یک دستگاه همسایه می فرستد ، یعنی بقیه لایه ها را بارها می کند.این فرآیند زمانی به پایان می رسد که همه لایه ها به صورت توزیع شده پردازش می شوند.در این مقاله ، ما در مورد طراحی و توسعه MDI با Early-Exit بررسی می کنیم ، که طرفداری می کند که نیازی به پردازش تمام لایه های یک مدل برای برخی از داده ها برای رسیدن به دقت مورد نظر نیست ، یعنی می توانیم بدون پردازش از مدل خارج شویمدر صورت دستیابی به دقت هدف ، تمام لایه ها.ما یک چارچوب MDI-Exit را طراحی می کنیم که به طور تطبیقی ​​خط مشی های اولیه و بارگیری و همچنین پذیرش داده ها را در منبع تعیین می کند.نتایج تجربی در یک زندگی واقعی از دستگاه های NVIDIA NANO EDGE نشان می دهد که MDI-Exit داده های بیشتری را در هنگام ثابت بودن انجام داده و باعث دقت بیشتری برای نرخ داده های ثابت می شود.