ترجمه فارسی مقاله یادگیری تقویتی توزیعیِ قابل کنترل و با کارایی اثبات‌پذیر با تقریب تابع مقدار عمومی

چکیده

Distributional reinforcement learning improves performance by effectively capturing environmental stochasticity, but a comprehensive theoretical understanding of its effectiveness remains elusive. In this paper, we present a regret analysis for distributional reinforcement learning with general value function approximation in a finite episodic Markov decision process setting. We first introduce a key notion of Bellman unbiasedness for a tractable and exactly learnable update via statistical functional dynamic programming. Our theoretical results show that approximating the infinite-dimensional return distribution with a finite number of moment functionals is the only method to learn the statistical information unbiasedly, including nonlinear statistical functionals. Second, we propose a provably efficient algorithm, $texttt{SF-LSVI}$, achieving a regret bound of $tilde{O}(d_E H^{frac{3}{2}}sqrt{K})$ where $H$ is the horizon, $K$ is the number of episodes, and $d_E$ is the eluder dimension of a function class.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت توزیع با گرفتن موثر تصادفی بودن محیطی ، عملکرد را بهبود می بخشد ، اما درک جامع نظری از اثربخشی آن گریزان است.در این مقاله ، ما یک تجزیه و تحلیل پشیمانی برای یادگیری تقویت توزیع با تقریب عملکرد ارزش کلی در یک تنظیم فرایند تصمیم گیری اپیزودیک محدود ارائه می دهیم.ما ابتدا یک مفهوم کلیدی از بی طرفانه بلمن را برای یک به روزرسانی قابل تراکت و دقیقاً قابل یادگیری از طریق برنامه نویسی پویا عملکردی آماری معرفی می کنیم.نتایج نظری ما نشان می دهد که تقریب توزیع بازده بعدی نامحدود با تعداد محدودی از عملکردهای لحظه ای تنها روشی برای یادگیری اطلاعات آماری بی طرفانه ، از جمله کارکردهای آماری غیرخطی است.دوم ، ما یک الگوریتم مؤثر و کارآمد را پیشنهاد می کنیم ، $ texttt {sf-lsvi} $ ، دستیابی به پشیمانی از $ tilde {o} (d_e h^{ frac {3} {2}}} sqrt {k})$ که $ h $ افق است ، $ k $ تعداد قسمت ها است و $ d_e $ بعد Eluder یک کلاس عملکرد است.