ترجمه فارسی مقاله جستجوی کارآمد برای توابع فعال سازی سفارشی با نزول شیب

چکیده

Different activation functions work best for different deep learning models. To exploit this, we leverage recent advancements in gradient-based search techniques for neural architectures to efficiently identify high-performing activation functions for a given application. We propose a fine-grained search cell that combines basic mathematical operations to model activation functions, allowing for the exploration of novel activations. Our approach enables the identification of specialized activations, leading to improved performance in every model we tried, from image classification to language models. Moreover, the identified activations exhibit strong transferability to larger models of the same type, as well as new datasets. Importantly, our automated process for creating customized activation functions is orders of magnitude more efficient than previous approaches. It can easily be applied on top of arbitrary deep learning pipelines and thus offers a promising practical avenue for enhancing deep learning architectures.

چکیده به فارسی (ترجمه ماشینی)

عملکردهای مختلف فعال سازی برای مدلهای مختلف یادگیری عمیق بهتر کار می کنند.برای بهره برداری از این امر ، ما از پیشرفت های اخیر در تکنیک های جستجوی مبتنی بر گرادیان برای معماری های عصبی استفاده می کنیم تا به طور مؤثر توابع فعال سازی با عملکرد بالا را برای یک برنامه خاص شناسایی کنیم.ما یک سلول جستجوی ریز دانه ای را پیشنهاد می کنیم که ترکیب عملیات ریاضی اساسی را برای مدل های فعال سازی مدل سازی می کند و امکان اکتشاف فعال سازی های جدید را فراهم می کند.رویکرد ما امکان شناسایی فعال سازی های تخصصی را فراهم می کند و منجر به بهبود عملکرد در هر مدلی که سعی کردیم ، از طبقه بندی تصویر گرفته تا مدل های زبان.علاوه بر این ، فعال سازی های شناسایی شده قابلیت انتقال قوی به مدلهای بزرگتر از همان نوع و همچنین مجموعه داده های جدید را نشان می دهند.نکته مهم ، فرآیند خودکار ما برای ایجاد توابع فعال سازی سفارشی ، سفارشات بزرگی نسبت به رویکردهای قبلی کارآمدتر است.این امر به راحتی می تواند در بالای خطوط لوله یادگیری عمیق دلخواه اعمال شود و در نتیجه یک خیابان عملی امیدوارکننده برای تقویت معماری های یادگیری عمیق ارائه می دهد.