مقاله یادداشتی در مورد کمیت عدم اطمینان برای پارامترهای حداکثر احتمال تخمین زده شده با الگوریتم های بهینه سازی مبتنی بر اکتشاف

چکیده

Gradient-based solvers risk convergence to local optima, leading to incorrect researcher inference. Heuristic-based algorithms are able to “break free” of these local optima to eventually converge to the true global optimum. However, given that they do not provide the gradient/Hessian needed to approximate the covariance matrix and that the significantly longer computational time they require for convergence likely precludes resampling procedures for inference, researchers often are unable to quantify uncertainty in the estimates they derive with these methods. This note presents a simple and relatively fast two-step procedure to estimate the covariance matrix for parameters estimated with these algorithms. This procedure relies on automatic differentiation, a computational means of calculating derivatives that is popular in machine learning applications. A brief empirical example demonstrates the advantages of this procedure relative to bootstrapping and shows the similarity in standard error estimates between this procedure and that which would normally accompany maximum likelihood estimation with a gradient-based algorithm.

چکیده به فارسی (ترجمه ماشینی)

حل کننده های مبتنی بر گرادیان همگرایی به Optima محلی را به خطر می اندازند و منجر به استنباط نادرست محقق می شوند.الگوریتم های مبتنی بر اکتشافی قادر به شکستن آزاد از این Optima محلی هستند تا در نهایت به بهینه جهانی واقعی همگرا شوند. با این وجود ، با توجه به اینکه آنها شیب/هسی مورد نیاز برای تقریب ماتریس کواریانس را ارائه نمی دهند و زمان محاسباتی قابل توجهی طولانی تر استآنها نیاز به همگرایی دارند که احتمالاً از روشهای تغییر شکل مجدد برای استنتاج جلوگیری می کند ، محققان غالباً قادر به کمیت عدم اطمینان در تخمین هایی که با این روشها حاصل می شوند ، نمی توانند یک روش ساده و نسبتاً سریع دو مرحله ای را برای برآورد ماتریس کواریانس برای پارامترهای تخمین زده شده با این الگوریتم ها ارائه دهند.. این روش به تمایز خودکار متکی است ، یک وسیله محاسباتی برای محاسبه مشتقات که در برنامه های یادگیری ماشین محبوب است. یک مثال مختصر تجربی مزایای این روش را نسبت به bootstrapping نشان می دهد و شباهت را در برآوردهای خطای استاندارد بین این روش نشان می دهد و آنچه را می توان نشان دادبه طور معمول برآورد حداکثر احتمال با یک الگوریتم مبتنی بر شیب همراه است.