ترجمه فارسی مقاله جستجوی کارآمد معماری عصبی چندهدفه از طریق جستجوی نوآوری مبتنی بر غلبه پارتو

چکیده

Neural Architecture Search (NAS) aims to automate the discovery of high-performing deep neural network architectures. Traditional objective-based NAS approaches typically optimize a certain performance metric (e.g., prediction accuracy), overlooking large parts of the architecture search space that potentially contain interesting network configurations. Furthermore, objective-driven population-based metaheuristics in complex search spaces often quickly exhaust population diversity and succumb to premature convergence to local optima. This issue becomes more complicated in NAS when performance objectives do not fully align with the actual performance of the candidate architectures, as is often the case with training-free metrics. While training-free metrics have gained popularity for their rapid performance estimation of candidate architectures without incurring computation-heavy network training, their effective incorporation into NAS remains a challenge. This paper presents the Pareto Dominance-based Novelty Search for multi-objective NAS with Multiple Training-Free metrics (MTF-PDNS). Unlike conventional NAS methods that optimize explicit objectives, MTF-PDNS promotes population diversity by utilizing a novelty score calculated based on multiple training-free performance and complexity metrics, thereby yielding a broader exploration of the search space. Experimental results on standard NAS benchmark suites demonstrate that MTF-PDNS outperforms conventional methods driven by explicit objectives in terms of convergence speed, diversity maintenance, architecture transferability, and computational costs.

چکیده به فارسی (ترجمه ماشینی)

جستجوی معماری عصبی (NAS) با هدف خودکار سازی کشف معماری های عمیق شبکه عصبی با عملکرد بالا.رویکردهای سنتی مبتنی بر NAS به طور معمول یک متریک عملکرد خاص (به عنوان مثال ، دقت پیش بینی) را بهینه می کند ، و مشرف به بخش های بزرگی از فضای جستجوی معماری است که به طور بالقوه حاوی پیکربندی های جالب شبکه است.علاوه بر این ، متهوریستی مبتنی بر جمعیت مبتنی بر هدف در فضاهای جستجوی پیچیده اغلب به سرعت تنوع جمعیت را خسته می کند و در معرض همگرایی زودرس به Optima محلی قرار می گیرد.این مسئله در NAS پیچیده تر می شود که اهداف عملکرد کاملاً با عملکرد واقعی معماری های نامزد هماهنگ نباشد ، همانطور که اغلب در مورد معیارهای بدون آموزش وجود دارد.در حالی که معیارهای بدون آموزش برای برآورد عملکرد سریع معماری های نامزد بدون تحقق آموزش شبکه سنگین ، محبوبیت خود را به دست آورده اند ، ترکیب مؤثر آنها در NAS یک چالش است.در این مقاله ، جستجوی جدید مبتنی بر تسلط پارتو برای NA های چند هدف با معیارهای بدون آموزش (MTF-PDN) ارائه شده است.بر خلاف روشهای معمولی NAS که اهداف صریح را بهینه می کنند ، MTF-PDN با استفاده از یک نمره جدید محاسبه شده بر اساس معیارهای عملکردی و پیچیدگی چند آموزش ، تنوع جمعیت را تنوع می بخشد و از این طریق اکتشاف گسترده تری از فضای جستجو ارائه می دهد.نتایج تجربی در مورد سوئیت های معیار استاندارد NAS نشان می دهد که MTF-PDN از روشهای متعارف که توسط اهداف صریح از نظر سرعت همگرایی ، نگهداری تنوع ، قابلیت انتقال معماری و هزینه های محاسباتی هدایت می شود ، بهتر است.