ترجمه فارسی مقاله یادگیری انتقالی قوی و کارآمد از طریق انتقال ابرشبکه در معماری عصبی با شروع گرم

چکیده

Hand-designing Neural Networks is a tedious process that requires significant expertise. Neural Architecture Search (NAS) frameworks offer a very useful and popular solution that helps to democratize AI. However, these NAS frameworks are often computationally expensive to run, which limits their applicability and accessibility. In this paper, we propose a novel transfer learning approach, capable of effectively transferring pretrained supernets based on Optimal Transport or multi-dataset pretaining. This method can be generally applied to NAS methods based on Differentiable Architecture Search (DARTS). Through extensive experiments across dozens of image classification tasks, we demonstrate that transferring pretrained supernets in this way can not only drastically speed up the supernet training which then finds optimal models (3 to 5 times faster on average), but even yield that outperform those found when running DARTS methods from scratch. We also observe positive transfer to almost all target datasets, making it very robust. Besides drastically improving the applicability of NAS methods, this also opens up new applications for continual learning and related fields.

چکیده به فارسی (ترجمه ماشینی)

شبکه های عصبی با طراحی دستی یک فرآیند خسته کننده است که نیاز به تخصص قابل توجهی دارد.چارچوب های جستجوی معماری عصبی (NAS) یک راه حل بسیار مفید و محبوب را ارائه می دهند که به دموکراتیزه کردن هوش مصنوعی کمک می کند.با این حال ، این چارچوب های NAS اغلب از نظر محاسباتی گران هستند که کاربرد و دسترسی آنها را محدود می کند.در این مقاله ، ما یک روش یادگیری انتقال جدید را پیشنهاد می کنیم ، قادر به انتقال مؤثر رویی های پیش از پیش بر اساس حمل و نقل بهینه یا تظاهرات چند اطلاعات است.این روش به طور کلی می تواند بر اساس جستجوی معماری متفاوت (DARTS) در روشهای NAS اعمال شود.از طریق آزمایش های گسترده در ده ها وظیفه طبقه بندی تصویر ، ما نشان می دهیم که انتقال مایع رویی از این طریق نه تنها می تواند آموزش Supernet را که پس از آن مدل های بهینه پیدا می کند (3 تا 5 برابر سریعتر) سرعت بخشید ، بلکه حتی عملکردی را نیز بهتر از آن نشان می دهد.هنگام اجرای روشهای دارت از ابتدا.ما همچنین انتقال مثبت به تقریباً همه مجموعه داده های هدف را مشاهده می کنیم و آن را بسیار قوی می کنیم.علاوه بر بهبود چشمگیر کاربرد روشهای NAS ، این کار برنامه های جدیدی را برای یادگیری مداوم و زمینه های مرتبط نیز باز می کند.