ترجمه فارسی مقاله سیارک: موازی خط لوله ترکیبی با منابع کارآمد برای آموزش مشترک DNN در دستگاه های لبه ناهمگن

چکیده

On-device Deep Neural Network (DNN) training has been recognized as crucial for privacy-preserving machine learning at the edge. However, the intensive training workload and limited onboard computing resources pose significant challenges to the availability and efficiency of model training. While existing works address these challenges through native resource management optimization, we instead leverage our observation that edge environments usually comprise a rich set of accompanying trusted edge devices with idle resources beyond a single terminal. We propose Asteroid, a distributed edge training system that breaks the resource walls across heterogeneous edge devices for efficient model training acceleration. Asteroid adopts a hybrid pipeline parallelism to orchestrate distributed training, along with a judicious parallelism planning for maximizing throughput under certain resource constraints. Furthermore, a fault-tolerant yet lightweight pipeline replay mechanism is developed to tame the device-level dynamics for training robustness and performance stability. We implement Asteroid on heterogeneous edge devices with both vision and language models, demonstrating up to 12.2x faster training than conventional parallelism methods and 2.1x faster than state-of-the-art hybrid parallelism methods through evaluations. Furthermore, Asteroid can recover training pipeline 14x faster than baseline methods while preserving comparable throughput despite unexpected device exiting and failure.

چکیده به فارسی (ترجمه ماشینی)

آموزش شبکه عصبی عمیق در دستگاه (DNN) برای یادگیری ماشین حفظ حریم خصوصی در حاشیه بسیار مهم است.با این حال ، حجم کار فشرده آموزش و منابع محاسباتی محدود در هواپیما چالش های مهمی را برای در دسترس بودن و کارآیی آموزش مدل ایجاد می کند.در حالی که آثار موجود از طریق بهینه سازی مدیریت منابع بومی به این چالش ها می پردازند ، ما در عوض از مشاهدات خود استفاده می کنیم که محیط های لبه معمولاً مجموعه ای غنی از دستگاه های لبه قابل اعتماد همراه با منابع بیکار فراتر از یک ترمینال واحد را تشکیل می دهند.ما سیارک را پیشنهاد می کنیم ، یک سیستم آموزش لبه توزیع شده که دیوارهای منبع را در دستگاه های لبه ناهمگن برای شتاب آموزش مدل کارآمد می شکند.سیارک یک موازی خط لوله ترکیبی را به آموزش توزیع شده ارکسترات ، همراه با یک برنامه ریزی موازی معقول برای به حداکثر رساندن توان تحت محدودیت های خاص منابع ، اتخاذ می کند.علاوه بر این ، یک مکانیسم پخش خط لوله در عین حال سبک و در عین حال سبک وزن برای خنثی کردن پویایی سطح دستگاه برای آموزش استحکام و ثبات عملکرد ایجاد شده است.ما سیارک را بر روی دستگاههای لبه ناهمگن با هر دو مدل بینایی و زبان پیاده سازی می کنیم ، و حداکثر 12.2 برابر آموزش سریعتر از روشهای موازی سازی معمولی و 2.1x سریعتر از روشهای موازی سازی ترکیبی پیشرفته از طریق ارزیابی ها را نشان می دهیم.علاوه بر این ، سیارک می تواند ضمن حفظ توان قابل مقایسه با وجود خروج و خرابی دستگاه غیر منتظره ، خط لوله آموزش 14x را سریعتر از روش های پایه بازیابی کند.