مقاله دفع-جذب همیلتونی مونت کارلو

چکیده

We propose a variant of Hamiltonian Monte Carlo (HMC), called the Repelling-Attracting Hamiltonian Monte Carlo (RAHMC), for sampling from multimodal distributions. The key idea that underpins RAHMC is a departure from the conservative dynamics of Hamiltonian systems, which form the basis of traditional HMC, and turning instead to the dissipative dynamics of conformal Hamiltonian systems. In particular, RAHMC involves two stages: a mode-repelling stage to encourage the sampler to move away from regions of high probability density; and, a mode-attracting stage, which facilitates the sampler to find and settle near alternative modes. We achieve this by introducing just one additional tuning parameter — the coefficient of friction. The proposed method adapts to the geometry of the target distribution, e.g., modes and density ridges, and can generate proposals that cross low-probability barriers with little to no computational overhead in comparison to traditional HMC. Notably, RAHMC requires no additional information about the target distribution or memory of previously visited modes. We establish the theoretical basis for RAHMC, and we discuss repelling-attracting extensions to several variants of HMC in literature. Finally, we provide a tuning-free implementation via dual-averaging, and we demonstrate its effectiveness in sampling from, both, multimodal and unimodal distributions in high dimensions.

چکیده به فارسی (ترجمه ماشینی)

ما برای نمونه برداری از توزیع های چندمودال ، یک نوع از همیلتون مونت کارلو (HMC) به نام دفع همیلتون مونت کارلو (RAHMC) را پیشنهاد می کنیم.ایده اصلی که زیربنای RAHMC است ، عزیمت از پویایی محافظه کارانه سیستم های همیلتون ، که اساس HMC سنتی را تشکیل می دهد ، و به جای آن به پویایی متلاشی سیستم های همیلتون همبستگی تبدیل می شود.به طور خاص ، RAHMC شامل دو مرحله است: یک مرحله از دستگاه برای ترغیب نمونه ای برای دور شدن از مناطقی با چگالی احتمال زیاد.و ، یک مرحله از حالت اختلال ، که نمونه را برای یافتن و حل و فصل در نزدیکی حالت های جایگزین تسهیل می کند.ما با معرفی فقط یک پارامتر تنظیم اضافی – ضریب اصطکاک – به این هدف می رسیم.روش پیشنهادی با هندسه توزیع هدف ، به عنوان مثال ، حالت ها و پشته های چگالی سازگار است و می تواند پیشنهادی را ایجاد کند که از موانع کم قابلیت عبور می کند و در مقایسه با HMC سنتی ، سربار محاسباتی کم و بدون محاسباتی.نکته قابل توجه ، RAHMC نیازی به اطلاعات اضافی در مورد توزیع هدف یا حافظه حالت های قبلی بازدید شده ندارد.ما مبنای نظری را برای RAHMC ایجاد می کنیم ، و در مورد دفع الحاقات با استفاده از چندین نوع HMC در ادبیات بحث می کنیم.سرانجام ، ما یک اجرای بدون تنظیم را از طریق میانگین دوگانه ارائه می دهیم ، و ما اثربخشی آن را در نمونه برداری از توزیع های چند حالته و غیرعادی در ابعاد بالا نشان می دهیم.