ترجمه فارسی مقاله الگوریتم‌های یادگیری ماشین مشارکتی تحت ناهمگنی آماری

چکیده

Learning from distributed data without accessing them is undoubtedly a challenging and non-trivial task. Nevertheless, the necessity for distributed training of a statistical model has been increasing, due to the privacy concerns of local data owners and the cost in centralizing the massively distributed data. Federated learning (FL) is currently the de facto standard of training a machine learning model across heterogeneous data owners, without leaving the raw data out of local silos. Nevertheless, several challenges must be addressed in order for FL to be more practical in reality. Among these challenges, the statistical heterogeneity problem is the most significant and requires immediate attention. From the main objective of FL, three major factors can be considered as starting points — textit{parameter}, textit{mixing coefficient}, and textit{local data distributions}. In alignment with the components, this dissertation is organized into three parts. In Chapter II, a novel personalization method, texttt{SuPerFed}, inspired by the mode-connectivity is introduced. In Chapter III, an adaptive decision-making algorithm, texttt{AAggFF}, is introduced for inducing uniform performance distributions in participating clients, which is realized by online convex optimization framework. Finally, in Chapter IV, a collaborative synthetic data generation method, texttt{FedEvg}, is introduced, leveraging the flexibility and compositionality of an energy-based modeling approach. Taken together, all of these approaches provide practical solutions to mitigate the statistical heterogeneity problem in data-decentralized settings, paving the way for distributed systems and applications using collaborative machine learning methods.

چکیده به فارسی (ترجمه ماشینی)

یادگیری از داده های توزیع شده بدون دسترسی به آنها بدون شک یک کار چالش برانگیز و غیر مهم است.با این وجود ، ضرورت آموزش توزیع یک مدل آماری در حال افزایش است ، به دلیل نگرانی از حریم خصوصی صاحبان داده های محلی و هزینه در تمرکز داده های توزیع شده.یادگیری فدرال (FL) در حال حاضر استاندارد de facto آموزش یک مدل یادگیری ماشین در بین صاحبان داده های ناهمگن است ، بدون اینکه داده های خام را از سیلوهای محلی خارج کند.با این وجود ، باید چندین چالش مورد بررسی قرار گیرد تا FL در واقعیت عملی تر باشد.در میان این چالش ها ، مشکل ناهمگونی آماری مهمترین است و نیاز به توجه فوری دارد.از هدف اصلی FL ، سه عامل اصلی را می توان به عنوان نقاط شروع در نظر گرفت – textit {پارامتر} ، TextIT {ضریب اختلاط} ، و textit {توزیع داده های محلی.در تراز با مؤلفه ها ، این پایان نامه به سه بخش سازماندهی می شود.در فصل دوم ، یک روش شخصی سازی جدید ، texttt {superfed} ، با الهام از حالت اتصال به سیستم معرفی شده است.در فصل سوم ، یک الگوریتم تصمیم گیری تطبیقی ​​، texttt {aaggff} ، برای القاء توزیع عملکرد یکنواخت در مشتری های شرکت کننده معرفی می شود ، که با چارچوب بهینه سازی محدب آنلاین تحقق می یابد.سرانجام ، در فصل چهارم ، یک روش تولید داده مصنوعی مشترک ، texttt {fedevg} معرفی می شود و از انعطاف پذیری و ترکیب یک رویکرد مدل سازی مبتنی بر انرژی استفاده می کند.روی هم رفته ، همه این رویکردها راه حل های عملی را برای کاهش مشکل ناهمگونی آماری در تنظیمات محور داده ها ارائه می دهند و راه را برای سیستم ها و برنامه های توزیع شده با استفاده از روش های یادگیری ماشین مشترک هموار می کنند.