ترجمه فارسی مقاله LMEMها برای تحلیل پس از وقوع معیار HPO

چکیده

The importance of tuning hyperparameters in Machine Learning (ML) and Deep Learning (DL) is established through empirical research and applications, evident from the increase in new hyperparameter optimization (HPO) algorithms and benchmarks steadily added by the community. However, current benchmarking practices using averaged performance across many datasets may obscure key differences between HPO methods, especially for pairwise comparisons. In this work, we apply Linear Mixed-Effect Models-based (LMEMs) significance testing for post-hoc analysis of HPO benchmarking runs. LMEMs allow flexible and expressive modeling on the entire experiment data, including information such as benchmark meta-features, offering deeper insights than current analysis practices. We demonstrate this through a case study on the PriorBand paper’s experiment data to find insights not reported in the original work.

چکیده به فارسی (ترجمه ماشینی)

اهمیت تنظیم HyperParameters در یادگیری ماشین (ML) و یادگیری عمیق (DL) از طریق تحقیقات تجربی و برنامه های کاربردی ایجاد می شود ، که از افزایش الگوریتم های جدید بهینه سازی هایپرپارامتر (HPO) و معیارهایی که به طور پیوسته توسط جامعه اضافه می شود ، مشهود است.با این حال ، شیوه های معیار فعلی با استفاده از عملکرد متوسط ​​در بسیاری از مجموعه داده ها ممکن است تفاوت های کلیدی بین روش های HPO ، به ویژه برای مقایسه های زوجی را مبهم کند.در این کار ، ما آزمایش اهمیت خطی مبتنی بر مدلهای مختلط (LMEMS) را برای تجزیه و تحلیل بعد از تعقیب از معیارهای HPO اعمال می کنیم.LMEM ها می توانند مدل سازی انعطاف پذیر و بیانگر را در کل داده های آزمایش ، از جمله اطلاعاتی مانند معیار متا متا ، ارائه دهند و بینش های عمیق تری نسبت به شیوه های تجزیه و تحلیل فعلی ارائه دهند.ما این موضوع را از طریق یک مطالعه موردی در مورد داده های آزمایش مقاله قبلی نشان می دهیم تا بینش هایی را که در کار اصلی گزارش نشده است ، پیدا کنیم.