ترجمه فارسی مقاله تعمیم انعطاف‌پذیر داده‌های کم به دامنه‌های نادیده مبتنی بر هموارسازی برچسب یکپارچه با بهینه‌سازی توزیعی قوی

چکیده

Overfitting commonly occurs when applying deep neural networks (DNNs) on small-scale datasets, where DNNs do not generalize well from existing data to unseen data. The main reason resulting in overfitting is that small-scale datasets cannot reflect the situations of the real world. Label smoothing (LS) is an effective regularization method to prevent overfitting, avoiding it by mixing one-hot labels with uniform label vectors. However, LS only focuses on labels while ignoring the distribution of existing data. In this paper, we introduce the distributionally robust optimization (DRO) to LS, achieving shift the existing data distribution flexibly to unseen domains when training DNNs. Specifically, we prove that the regularization of LS can be extended to a regularization term for the DNNs parameters when integrating DRO. The regularization term can be utilized to shift existing data to unseen domains and generate new data. Furthermore, we propose an approximate gradient-iteration label smoothing algorithm (GI-LS) to achieve the findings and train DNNs. We prove that the shift for the existing data does not influence the convergence of GI-LS. Since GI-LS incorporates a series of hyperparameters, we further consider using Bayesian optimization (BO) to find the relatively optimal combinations of these hyperparameters. Taking small-scale anomaly classification tasks as a case, we evaluate GI-LS, and the results clearly demonstrate its superior performance.

چکیده به فارسی (ترجمه ماشینی)

بیش از حد در هنگام استفاده از شبکه های عصبی عمیق (DNN) در مجموعه داده های در مقیاس کوچک ، که در آن DNN ها به خوبی از داده های موجود تا داده های غیب تعمیم نمی دهند ، رخ می دهد.دلیل اصلی نتیجه بیش از حد این است که مجموعه داده های در مقیاس کوچک نمی توانند موقعیت های دنیای واقعی را منعکس کنند.صافی برچسب (LS) یک روش تنظیم موثر برای جلوگیری از استفاده بیش از حد است و با مخلوط کردن برچسب های یک داغ با بردارهای برچسب یکنواخت از آن جلوگیری می شود.با این حال ، LS فقط ضمن نادیده گرفتن توزیع داده های موجود ، روی برچسب ها تمرکز می کند.در این مقاله ، ما بهینه سازی توزیع کننده قوی (DRO) را به LS معرفی می کنیم ، و در هنگام آموزش DNN ها ، توزیع داده های موجود را به طور انعطاف پذیر به دامنه های غیب تغییر می دهیم.به طور خاص ، ما ثابت می کنیم که تنظیم تنظیم LS می تواند در هنگام ادغام DRO ، به یک اصطلاح منظم برای پارامترهای DNNS گسترش یابد.از اصطلاح منظم می توان برای تغییر داده های موجود به دامنه های غیب و تولید داده های جدید استفاده کرد.علاوه بر این ، ما یک الگوریتم هموار سازی برچسب شیب شیب (GI-LS) را برای دستیابی به یافته ها و آموزش DNN ها پیشنهاد می کنیم.ما ثابت می کنیم که تغییر برای داده های موجود بر همگرایی GI-LS تأثیر نمی گذارد.از آنجا که GI-LS مجموعه ای از هایپرپارامترها را در خود جای داده است ، ما بیشتر با استفاده از بهینه سازی بیزی (BO) برای یافتن ترکیبات نسبتاً بهینه از این هاپرپارامترها در نظر می گیریم.با استفاده از وظایف طبقه بندی ناهنجاری در مقیاس کوچک به عنوان یک مورد ، Gi-LS را ارزیابی می کنیم و نتایج به وضوح عملکرد برتر آن را نشان می دهد.