ترجمه فارسی مقاله یادگیری تقویتی با تخفیف شبه هذلولی

چکیده

Reinforcement learning has traditionally been studied with exponential discounting or the average reward setup, mainly due to their mathematical tractability. However, such frameworks fall short of accurately capturing human behavior, which has a bias towards immediate gratification. Quasi-Hyperbolic (QH) discounting is a simple alternative for modeling this bias. Unlike in traditional discounting, though, the optimal QH-policy, starting from some time $t_1,$ can be different to the one starting from $t_2.$ Hence, the future self of an agent, if it is naive or impatient, can deviate from the policy that is optimal at the start, leading to sub-optimal overall returns. To prevent this behavior, an alternative is to work with a policy anchored in a Markov Perfect Equilibrium (MPE). In this work, we propose the first model-free algorithm for finding an MPE. Using a two-timescale analysis, we show that, if our algorithm converges, then the limit must be an MPE. We also validate this claim numerically for the standard inventory system with stochastic demands. Our work significantly advances the practical application of reinforcement learning.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت شده به طور سنتی با تخفیف نمایی یا میانگین تنظیم پاداش مورد مطالعه قرار گرفته است ، عمدتاً به دلیل قابلیت تغییر ریاضی آنها.با این حال ، چنین چارچوبی از دستگیری دقیق رفتار انسان کم می شود ، که نسبت به رضایت فوری تعصب دارد.تخفیف شبه هیپربولیک (QH) یک جایگزین ساده برای مدل سازی این تعصب است.برخلاف تخفیف سنتی ، هرچند ، سیاست بهینه QH ، از مدتی $ t_1 شروع می شود ، $ می تواند با کسی که از $ t_2 شروع می شود متفاوت باشد. از این رو ، آینده خود یک عامل ، اگر ساده لوح یا بی تاب باشد ، می توانداز سیاستی که در ابتدا بهینه است ، منحرف شوید و منجر به بازده کلی زیر بهینه شود.برای جلوگیری از این رفتار ، یک جایگزین این است که با سیاستی که در یک تعادل کامل مارکوف (MPE) لنگر زده است ، کار کنید.در این کار ، ما اولین الگوریتم بدون مدل را برای یافتن MPE پیشنهاد می کنیم.با استفاده از یک تجزیه و تحلیل دو رنگ ، ما نشان می دهیم که اگر الگوریتم ما همگرا شود ، باید حد مجاز MPE باشد.ما همچنین این ادعا را به صورت عددی برای سیستم موجودی استاندارد با تقاضای تصادفی تأیید می کنیم.کار ما به طور قابل توجهی کاربرد عملی یادگیری تقویت را پیشرفت می کند.