ترجمه فارسی مقاله هندسه اطلاعات و پیوند بتا برای بهینه‌سازی فرآیندهای متغیر دانشجویی پراکنده

چکیده

Recently, a sparse version of Student-t Processes, termed sparse variational Student-t Processes, has been proposed to enhance computational efficiency and flexibility for real-world datasets using stochastic gradient descent. However, traditional gradient descent methods like Adam may not fully exploit the parameter space geometry, potentially leading to slower convergence and suboptimal performance. To mitigate these issues, we adopt natural gradient methods from information geometry for variational parameter optimization of Student-t Processes. This approach leverages the curvature and structure of the parameter space, utilizing tools such as the Fisher information matrix which is linked to the Beta function in our model. This method provides robust mathematical support for the natural gradient algorithm when using Student’s t-distribution as the variational distribution. Additionally, we present a mini-batch algorithm for efficiently computing natural gradients. Experimental results across four benchmark datasets demonstrate that our method consistently accelerates convergence speed.

چکیده به فارسی (ترجمه ماشینی)

به تازگی ، یک نسخه پراکنده از فرآیندهای دانشجویی-T ، به نام فرآیندهای پراکنده دانش آموز-T ، به منظور افزایش بهره وری محاسباتی و انعطاف پذیری برای مجموعه داده های دنیای واقعی با استفاده از نزول شیب تصادفی پیشنهاد شده است.با این حال ، روشهای نزول شیب سنتی مانند آدم ممکن است به طور کامل از هندسه فضای پارامتر بهره برداری نکند ، به طور بالقوه منجر به همگرایی کندتر و عملکرد زیر حد می شود.برای کاهش این موضوعات ، ما روشهای شیب طبیعی را از هندسه اطلاعات برای بهینه سازی پارامترهای متغیر فرآیندهای دانشجویی T اتخاذ می کنیم.این رویکرد با استفاده از ابزارهایی مانند ماتریس اطلاعات فیشر که به عملکرد بتا در مدل ما مرتبط است ، از انحنای و ساختار فضای پارامتر استفاده می کند.این روش پشتیبانی ریاضی قوی برای الگوریتم گرادیان طبیعی هنگام استفاده از توزیع T دانش آموز به عنوان توزیع متنوع ارائه می دهد.علاوه بر این ، ما یک الگوریتم مینی دسته ای برای محاسبه کارآمد شیب های طبیعی ارائه می دهیم.نتایج تجربی در چهار مجموعه داده معیار نشان می دهد که روش ما به طور مداوم سرعت همگرایی را تسریع می کند.