ترجمه فارسی مقاله Q- خانواده پرشور برای بهینه سازی سیاست

چکیده

Policy optimization methods benefit from a simple and tractable policy functional, usually the Gaussian for continuous action spaces. In this paper, we consider a broader policy family that remains tractable: the $q$-exponential family. This family of policies is flexible, allowing the specification of both heavy-tailed policies ($q>1$) and light-tailed policies ($q<1$). This paper examines the interplay between $q$-exponential policies for several actor-critic algorithms conducted on both online and offline problems. We find that heavy-tailed policies are more effective in general and can consistently improve on Gaussian. In particular, we find the Student's t-distribution to be more stable than the Gaussian across settings and that a heavy-tailed $q$-Gaussian for Tsallis Advantage Weighted Actor-Critic consistently performs well in offline benchmark problems. Our code is available at \url{https://github.com/lingweizhu/qexp}.

چکیده به فارسی (ترجمه ماشینی)

روشهای بهینه سازی سیاست از یک سیاست ساده و قابل ردیابی عملکردی ، معمولاً گاوسی برای فضاهای اقدام مداوم بهره می برد.در این مقاله ، ما یک خانواده سیاست وسیع تری را در نظر می گیریم که همچنان قابل ردیابی است: خانواده $ $ -xponential.این خانواده از سیاست ها انعطاف پذیر است و امکان مشخص کردن هر دو سیاست با دم سنگین ($ q> 1 $) و سیاست های سبک ($ q <1 $) را فراهم می کند.در این مقاله به بررسی تعامل بین خط مشی های $ $ $-برای چندین الگوریتم بازیگر انتقادی که در هر دو مشکلات آنلاین و آفلاین انجام شده است ، بررسی شده است.ما می دانیم که سیاست های دارای دم سنگین به طور کلی مؤثرتر است و به طور مداوم می تواند در گاوسی بهبود یابد.به طور خاص ، ما می دانیم که توزیع T دانشجویی پایدارتر از گاوسی در سراسر تنظیمات است و یک $ q $ $-Gaussian برای Tsallis Advantage (بازیگر معتبر Tsallis) به طور مداوم در مشکلات بنچمارک آفلاین عملکرد خوبی دارد.کد ما در \ url {https://github.com/lingweizhu/qexp} در دسترس است. [sc name="papertranslation"][/sc]