ترجمه فارسی مقاله خطای تفاضل زمانی گاوسی تعمیم‌یافته برای یادگیری تقویتی آگاه از عدم قطعیت

چکیده

Conventional uncertainty-aware temporal difference (TD) learning methods often rely on simplistic assumptions, typically including a zero-mean Gaussian distribution for TD errors. Such oversimplification can lead to inaccurate error representations and compromised uncertainty estimation. In this paper, we introduce a novel framework for generalized Gaussian error modeling in deep reinforcement learning, applicable to both discrete and continuous control settings. Our framework enhances the flexibility of error distribution modeling by incorporating higher-order moments, particularly kurtosis, thereby improving the estimation and mitigation of data-dependent noise, i.e., aleatoric uncertainty. We examine the influence of the shape parameter of the generalized Gaussian distribution (GGD) on aleatoric uncertainty and provide a closed-form expression that demonstrates an inverse relationship between uncertainty and the shape parameter. Additionally, we propose a theoretically grounded weighting scheme to fully leverage the GGD. To address epistemic uncertainty, we enhance the batch inverse variance weighting by incorporating bias reduction and kurtosis considerations, resulting in improved robustness. Extensive experimental evaluations using policy gradient algorithms demonstrate the consistent efficacy of our method, showcasing significant performance improvements.

چکیده به فارسی (ترجمه ماشینی)

روشهای یادگیری تفاوت زمانی عدم قطعیت متعارف (TD) اغلب به فرضیات ساده گرایانه متکی هستند ، به طور معمول شامل توزیع گاوسی صفر برای خطاهای TD.چنین توضیح بیش از حد می تواند منجر به بازنمایی خطای نادرست و برآورد عدم اطمینان شود.در این مقاله ، ما یک چارچوب جدید برای مدل سازی خطای عمومی گاوسی در یادگیری تقویت عمیق ، که برای هر دو تنظیم کنترل گسسته و مداوم کاربرد دارد ، معرفی می کنیم.چارچوب ما انعطاف پذیری مدل سازی توزیع خطا را با ترکیب لحظات مرتبه بالاتر ، به ویژه کورتوز افزایش می دهد ، در نتیجه تخمین و کاهش سر و صدای وابسته به داده ها ، یعنی عدم اطمینان آلوئوریک را بهبود می بخشد.ما تأثیر پارامتر شکل توزیع گاوسی تعمیم یافته (GGD) بر عدم اطمینان آلوئوریک را بررسی می کنیم و یک عبارت بسته را ارائه می دهیم که نشان دهنده یک رابطه معکوس بین عدم اطمینان و پارامتر شکل است.علاوه بر این ، ما یک طرح وزنه برداری از لحاظ نظری برای استفاده کامل از GGD پیشنهاد می کنیم.برای پرداختن به عدم اطمینان معرفتی ، ما با استفاده از ملاحظات کاهش تعصب و كورتوز ، وزن واریانس معکوس دسته ای را افزایش می دهیم و منجر به بهبود استحکام می شویم.ارزیابی های تجربی گسترده با استفاده از الگوریتم های شیب خط مشی ، اثربخشی مداوم روش ما را نشان می دهد ، و پیشرفت های قابل توجهی در عملکرد را نشان می دهد.