ترجمه فارسی مقاله آموزش تقویتی با افق بی نهایت کارآمد با میانگین پاداش با تقریب تابع خطی

چکیده

This paper proposes a computationally tractable algorithm for learning infinite-horizon average-reward linear Markov decision processes (MDPs) and linear mixture MDPs under the Bellman optimality condition. While guaranteeing computational efficiency, our algorithm for linear MDPs achieves the best-known regret upper bound of $\widetilde{\mathcal{O}}(d^{3/2}\mathrm{sp}(v^*)\sqrt{T})$ over $T$ time steps where $\mathrm{sp}(v^*)$ is the span of the optimal bias function $v^*$ and $d$ is the dimension of the feature mapping. For linear mixture MDPs, our algorithm attains a regret bound of $\widetilde{\mathcal{O}}(d\cdot\mathrm{sp}(v^*)\sqrt{T})$. The algorithm applies novel techniques to control the covering number of the value function class and the span of optimistic estimators of the value function, which is of independent interest.

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک الگوریتم محاسباتی قابل ردیابی برای یادگیری فرایندهای تصمیم گیری خطی متوسط ​​مارکوف-هوریزون به طور متوسط ​​(MDP) و MDP های مخلوط خطی تحت شرایط بهینه Bellman ارائه شده است.در حالی که بهره وری محاسباتی را تضمین می کند ، الگوریتم ما برای MDP های خطی به بیشترین پشیمانی شناخته شده از $ \ widetilde {\ mathcal {o}} (d^{3/2} \ mathrm {sp} (v^*) \ sqrt {دست می یابد.t}) $ بیش از $ t $ مراحل زمان که در آن $ \ mathrm {sp} (v^*) $ دهانه عملکرد بهینه تعصب $ v^*$ و $ d $ ابعاد نقشه برداری ویژگی است.برای MDP های مخلوط خطی ، الگوریتم ما با پشیمانی از $ \ widetilde {\ mathcal {o}} (d \ cdot \ mathrm {sp} (v^*) \ sqrt {t}) $.این الگوریتم از تکنیک های جدید برای کنترل تعداد پوشش کلاس عملکرد ارزش و دهانه برآوردگرهای خوش بینانه عملکرد ارزش استفاده می کند ، که مورد علاقه مستقل است.