ترجمه فارسی مقاله پلوتون و شارون: چارچوب هوش مصنوعی لبه مشارکتی کارآمد زمان و حافظه برای تنظیم دقیق LLM های شخصی

چکیده

Large language models (LLMs) have unlocked a plethora of powerful applications at the network edge, such as intelligent personal assistants. Data privacy and security concerns have prompted a shift towards edge-based fine-tuning of personal LLMs, away from cloud reliance. However, this raises issues of computational intensity and resource scarcity, hindering training efficiency and feasibility. While current studies investigate parameter-efficient fine-tuning (PEFT) techniques to mitigate resource constraints, our analysis indicates that these techniques are not sufficiently resource-efficient for edge devices. To tackle these challenges, we propose Pluto and Charon (PAC), a time and memory efficient collaborative edge AI framework for personal LLMs fine-tuning. PAC breaks the resource wall of personal LLMs fine-tuning with a sophisticated algorithm-system co-design. (1) Algorithmically, PAC implements a personal LLMs fine-tuning technique that is efficient in terms of parameters, time, and memory. It utilizes Parallel Adapters to circumvent the need for a full backward pass through the LLM backbone. Additionally, an activation cache mechanism further streamlining the process by negating the necessity for repeated forward passes across multiple epochs. (2) Systematically, PAC leverages edge devices in close proximity, pooling them as a collective resource for in-situ personal LLMs fine-tuning, utilizing a hybrid data and pipeline parallelism to orchestrate distributed training. The use of the activation cache eliminates the need for forward pass through the LLM backbone,enabling exclusive fine-tuning of the Parallel Adapters using data parallelism. Extensive evaluation based on prototype implementation demonstrates that PAC remarkably outperforms state-of-the-art approaches, achieving up to 8.64x end-to-end speedup and up to 88.16% reduction in memory footprint.

چکیده به فارسی (ترجمه ماشینی)

مدل های بزرگ زبان (LLM) تعداد زیادی از برنامه های قدرتمند را در حاشیه شبکه مانند دستیاران شخصی هوشمند باز کرده اند.حریم خصوصی داده ها و نگرانی های امنیتی باعث شده است تا به سمت تنظیم دقیق LLM های شخصی ، به دور از Cloud Reliance ، تغییر کند.با این حال ، این مسئله موضوعات مربوط به شدت محاسباتی و کمبود منابع را ایجاد می کند ، مانع از کارآیی و امکان سنجی آموزش می شود.در حالی که مطالعات فعلی تکنیک های تنظیم دقیق پارامتر (PEFT) را برای کاهش محدودیت های منابع بررسی می کنند ، تجزیه و تحلیل ما نشان می دهد که این تکنیک ها برای دستگاه های لبه به اندازه کافی کارآمد نیستند.برای مقابله با این چالش ها ، ما پلوتون و چارون (PAC) را پیشنهاد می کنیم ، یک چارچوب Edge Edge Edge با زمان و حافظه کارآمد برای تنظیم دقیق LLMS شخصی.PAC دیواره منابع LLMS شخصی را با یک طراحی الگوریتم پیشرفته و جذاب تنظیم می کند.(1) از نظر الگوریتمی ، PAC یک تکنیک تنظیم دقیق LLMS شخصی را اجرا می کند که از نظر پارامترها ، زمان و حافظه کارآمد است.از آداپتورهای موازی برای دور زدن نیاز به یک گذر کامل به عقب از ستون فقرات LLM استفاده می کند.علاوه بر این ، یک مکانیسم حافظه پنهان فعال سازی با نفی ضرورت عبور مکرر به جلو در چندین دوره ، روند کار را بیشتر می کند.(2) به طور سیستماتیک ، PAC دستگاه های لبه ای را در مجاورت نزدیک می کند ، و آنها را به عنوان یک منبع جمعی برای تنظیم دقیق LLMS شخصی درجا ، با استفاده از داده های ترکیبی و موازی خط لوله به آموزش توزیع شده ارکستر جمع می کند.استفاده از حافظه نهان فعال سازی ، نیاز به عبور به جلو را از طریق ستون فقرات LLM از بین می برد و تنظیم دقیق آداپتورهای موازی را با استفاده از موازی سازی داده ها امکان پذیر می کند.ارزیابی گسترده بر اساس اجرای نمونه اولیه نشان می دهد که PAC به طرز چشمگیری بهتر از رویکردهای پیشرفته است ، به سرعت 8.64 برابر سرعت پایان به پایان رسیده و تا 88.16 ٪ کاهش در ردپای حافظه.