ترجمه فارسی مقاله نزدیک: یک پیش بینی کننده بدون آموزش عملکرد مدل یادگیری ماشین

چکیده

Artificial neural networks have been shown to be state-of-the-art machine learning models in a wide variety of applications, including natural language processing and image recognition. However, building a performant neural network is a laborious task and requires substantial computing power. Neural Architecture Search (NAS) addresses this issue by an automatic selection of the optimal network from a set of potential candidates. While many NAS methods still require training of (some) neural networks, zero-cost proxies promise to identify the optimal network without training. In this work, we propose the zero-cost proxy Network Expressivity by Activation Rank (NEAR). It is based on the effective rank of the pre- and post-activation matrix, i.e., the values of a neural network layer before and after applying its activation function. We demonstrate the cutting-edge correlation between this network score and the model accuracy on NAS-Bench-101 and NATS-Bench-SSS/TSS. In addition, we present a simple approach to estimate the optimal layer sizes in multi-layer perceptrons. Furthermore, we show that this score can be utilized to select hyperparameters such as the activation function and the neural network weight initialization scheme.

چکیده به فارسی (ترجمه ماشینی)

نشان داده شده است که شبکه های عصبی مصنوعی در طیف گسترده ای از برنامه های کاربردی از جمله پردازش زبان طبیعی و تشخیص تصویر ، مدل های یادگیری ماشین هستند.با این حال ، ایجاد یک شبکه عصبی عملکردی یک کار پر زحمت است و به قدرت محاسباتی قابل توجهی نیاز دارد.جستجوی معماری عصبی (NAS) با انتخاب اتوماتیک شبکه بهینه از مجموعه ای از نامزدهای بالقوه ، این موضوع را به این موضوع می پردازد.در حالی که بسیاری از روشهای NAS هنوز هم نیاز به آموزش (برخی) شبکه های عصبی دارند ، پروکسی های صفر با هزینه قول می دهند شبکه بهینه را بدون آموزش شناسایی کنند.در این کار ، ما بیان شبکه پروکسی صفر هزینه را با رتبه فعال سازی (نزدیک) پیشنهاد می کنیم.این مبتنی بر رتبه مؤثر ماتریس قبل و بعد از فعال سازی ، یعنی مقادیر یک لایه شبکه عصبی قبل و بعد از استفاده از عملکرد فعال سازی آن است.ما همبستگی برش بین این نمره شبکه و دقت مدل در NAS-BENCH-101 و NATS-BENCH-SSS/TSS را نشان می دهیم.علاوه بر این ، ما یک روش ساده برای برآورد اندازه لایه بهینه در درک چند لایه ارائه می دهیم.علاوه بر این ، ما نشان می دهیم که از این نمره می توان برای انتخاب HyperParameters مانند عملکرد فعال سازی و طرح اولیه سازی وزن شبکه عصبی استفاده کرد.