ترجمه فارسی مقاله RBLA: جمع آوری مبتنی بر رتبه-لورا برای مدل های ناهمگن تنظیم خوب در FLAAS

چکیده

Federated Learning (FL) is a promising privacy-aware distributed learning framework that can be deployed on various devices, such as mobile phones, desktops, and devices equipped with CPUs or GPUs. In the context of server-based Federated Learning as a Service (FLaas), FL enables the central server to coordinate the training process across multiple devices without direct access to the local data, thereby enhancing privacy and data security. Low-Rank Adaptation (LoRA) is a method that fine-tunes models efficiently by focusing on a low-dimensional subspace of the model’s parameters. This approach significantly reduces computational and memory costs compared to fine-tuning all parameters from scratch. When integrated with FL, especially in a FLaas environment, LoRA allows for flexible and efficient deployment across diverse hardware with varying computational capabilities by adjusting the local model’s rank. However, in LoRA-enabled FL, different clients may train models with varying ranks, which poses a challenge for model aggregation on the server. Current methods of aggregating models of different ranks require padding weights to a uniform shape, which can degrade the global model’s performance. To address this issue, we propose Rank-Based LoRA Aggregation (RBLA), a novel model aggregation method designed for heterogeneous LoRA structures. RBLA preserves key features across models with different ranks. This paper analyzes the issues with current padding methods that reshape models for aggregation in a FLaas environment. Then, we introduce RBLA, a rank-based aggregation method that maintains both low-rank and high-rank features. Finally, we demonstrate the effectiveness of RBLA through comparative experiments with state-of-the-art methods.

چکیده به فارسی (ترجمه ماشینی)

Federated Learning (FL) یک چارچوب یادگیری توزیع شده در آگاه از حریم خصوصی است که می تواند در دستگاه های مختلف مانند تلفن های همراه ، دسک تاپ و دستگاه های مجهز به CPU یا GPU مستقر شود.در زمینه یادگیری فدراسیون مبتنی بر سرور به عنوان یک سرویس (FLAAS) ، FL سرور مرکزی را قادر می سازد تا فرایند آموزش را در چندین دستگاه بدون دسترسی مستقیم به داده های محلی هماهنگ کند و از این طریق باعث افزایش حریم خصوصی و امنیت داده ها شود.سازگاری با درجه پایین (LORA) روشی است که با تمرکز بر روی یک فضای زیرین کم از پارامترهای مدل ، مدل های تنظیم کننده ریز را به طور موثر مدل می کنند.این روش به طور قابل توجهی هزینه های محاسباتی و حافظه را در مقایسه با تنظیم دقیق تمام پارامترها از ابتدا کاهش می دهد.در صورت ادغام با FL ، به ویژه در یک محیط FLAAS ، LORA امکان استقرار انعطاف پذیر و کارآمد در سخت افزار متنوع و قابلیت های محاسباتی متفاوت را با تنظیم رتبه مدل محلی فراهم می کند.با این حال ، در FL با قابلیت LORA ، مشتری های مختلف ممکن است مدل هایی را با رده های مختلف آموزش دهند ، که این یک چالش برای جمع آوری مدل در سرور است.روشهای فعلی مدل های جمع آوری در رده های مختلف نیاز به وزن بالشتک به شکل یکنواخت دارند که می تواند عملکرد مدل جهانی را تخریب کند.برای پرداختن به این مسئله ، ما تجمع LORA مبتنی بر رتبه (RBLA) ، یک روش تجمع مدل جدید را که برای ساختارهای ناهمگن لورا طراحی شده است ، پیشنهاد می کنیم.RBLA ویژگی های کلیدی را در بین مدلها با رده های مختلف حفظ می کند.در این مقاله به بررسی موضوعات مربوط به روشهای فعلی بالشتک می پردازیم که مدل ها را برای تجمع در یک محیط FLAAS تغییر شکل می دهد.سپس ، ما RBLA را معرفی می کنیم ، یک روش جمع آوری مبتنی بر رتبه که هم از ویژگی های پایین و هم از درجه بالایی برخوردار است.سرانجام ، ما اثربخشی RBLA را از طریق آزمایش های مقایسه ای با روش های پیشرفته نشان می دهیم.