ترجمه فارسی مقاله آموزش فدرال مدل های بزرگ ASR در دنیای واقعی

چکیده

Federated learning (FL) has shown promising results on training machine learning models with privacy preservation. However, for large models with over 100 million parameters, the training resource requirement becomes an obstacle for FL because common devices do not have enough memory and computation power to finish the FL tasks. Although efficient training methods have been proposed, it is still a challenge to train the large models like Conformer based ASR. This paper presents a systematic solution to train the full-size ASR models of 130M parameters with FL. To our knowledge, this is the first real-world FL application of the Conformer model, which is also the largest model ever trained with FL so far. And this is the first paper showing FL can improve the ASR model quality with a set of proposed methods to refine the quality of data and labels of clients. We demonstrate both the training efficiency and the model quality improvement in real-world experiments.

چکیده به فارسی (ترجمه ماشینی)

یادگیری فدرال (FL) نتایج امیدوارکننده ای را در مورد مدلهای یادگیری ماشین آموزش با حفظ حریم خصوصی نشان داده است.با این حال ، برای مدل های بزرگ با بیش از 100 میلیون پارامتر ، نیاز به منابع آموزشی برای FL به مانعی تبدیل می شود زیرا دستگاه های مشترک حافظه و قدرت محاسباتی کافی برای به پایان رساندن کارهای FL ندارند.اگرچه روشهای آموزش کارآمد ارائه شده است ، اما آموزش مدلهای بزرگی مانند Conformer مبتنی بر ASR هنوز یک چالش است.در این مقاله یک راه حل سیستماتیک برای آموزش مدل های ASR با اندازه کامل از پارامترهای 130 متر با FL ارائه شده است.به دانش ما ، این اولین کاربرد FL در دنیای واقعی از مدل Conformer است که همچنین بزرگترین مدلی است که تاکنون با FL آموزش دیده است.و این اولین مقاله ای است که نشان می دهد FL می تواند کیفیت مدل ASR را با مجموعه ای از روشهای پیشنهادی برای اصلاح کیفیت داده ها و برچسب های مشتری بهبود بخشد.ما هم بهره وری آموزش و هم بهبود کیفیت مدل را در آزمایش های دنیای واقعی نشان می دهیم.