مقاله در مورد چشم اندازهای فراپارامتری الگوریتم های یادگیری ماشین

چکیده

Despite the recent success in a plethora of hyperparameter optimization (HPO) methods for machine learning (ML) models, the intricate interplay between model hyperparameters (HPs) and predictive losses (a.k.a fitness), which is a key prerequisite for understanding HPO, remain notably underexplored in our community. This results in limited explainability in the HPO process, rendering a lack of human trust and difficulties in pinpointing algorithm bottlenecks. In this paper, we aim to shed light on this black box by conducting large-scale fitness landscape analysis (FLA) on 1,500 HP loss landscapes of 6 ML models with more than 11 model configurations, across 67 datasets and different levels of fidelities. We reveal the first unified, comprehensive portrait of their topographies in terms of smoothness, neutrality and modality. We also show that such properties are highly transferable across datasets and fidelities, providing fundamental evidence for the success of multi-fidelity and transfer learning methods. These findings are made possible by developing a dedicated FLA framework that incorporates a combination of visual and quantitative measures. We further demonstrate the potential of this framework by analyzing the NAS-Bench-101 landscape, and we believe it is able to faciliate fundamental understanding of a broader range of AutoML tasks.

چکیده به فارسی (ترجمه ماشینی)

علیرغم موفقیت اخیر در مجموعه ای از روشهای بهینه سازی هایپرپارامتر (HPO) برای مدل های یادگیری ماشین (ML) ، تعامل پیچیده بین مدل هایپرپارامترهای مدل (HPS) و ضررهای پیش بینی کننده (A.K.A تناسب اندام) ، که یک پیش نیاز اصلی برای درک HPO است ، به ویژه باقی مانده است.در جامعه ما نامشخص است.این منجر به توضیح محدود در فرآیند HPO می شود و باعث عدم اعتماد به نفس انسان و مشکلات در مشخص کردن بطری های الگوریتم می شود.در این مقاله ، ما هدف ما این است که با انجام تجزیه و تحلیل چشم انداز تناسب اندام در مقیاس بزرگ (FLA) در 1500 HP از دست دادن مناظر 6 مدل 6 میلی لیتر با بیش از 11 پیکربندی مدل ، در 67 مجموعه داده و سطوح مختلف Fidelits ، این جعبه سیاه را روشن کنیم.ما اولین پرتره یکپارچه و جامع از توپوگرافی های آنها را از نظر صافی ، بی طرفی و روش نشان می دهیم.ما همچنین نشان می دهیم که چنین خواصی در بین مجموعه داده ها و وفاداری بسیار قابل انتقال است و شواهد اساسی برای موفقیت روشهای یادگیری چند وفاداری و انتقال ارائه می دهد.این یافته ها با ایجاد یک چارچوب اختصاصی FLA که ترکیبی از اقدامات بصری و کمی را شامل می شود ، امکان پذیر است.ما علاوه بر این پتانسیل این چارچوب را با تجزیه و تحلیل چشم انداز NAS-BENCH-101 نشان می دهیم ، و ما معتقدیم که قادر به درک اساسی از طیف گسترده تری از کارهای AUTOM است.