ترجمه فارسی مقاله RL مبتنی بر مدل به عنوان یک رویکرد مینیمالیستی برای مرزهای بدون افق و درجه دوم

چکیده

Learning a transition model via Maximum Likelihood Estimation (MLE) followed by planning inside the learned model is perhaps the most standard and simplest Model-based Reinforcement Learning (RL) framework. In this work, we show that such a simple Model-based RL scheme, when equipped with optimistic and pessimistic planning procedures, achieves strong regret and sample complexity bounds in online and offline RL settings. Particularly, we demonstrate that under the conditions where the trajectory-wise reward is normalized between zero and one and the transition is time-homogenous, it achieves horizon-free and second-order bounds. Horizon-free means that our bounds have no polynomial dependence on the horizon of the Markov Decision Process. A second-order bound is a type of instance-dependent bound that scales with respect to the variances of the returns of the policies which can be small when the system is nearly deterministic and (or) the optimal policy has small values. We highlight that our algorithms are simple, fairly standard, and indeed have been extensively studied in the RL literature: they learn a model via MLE, build a version space around the MLE solution, and perform optimistic or pessimistic planning depending on whether operating in the online or offline mode. These algorithms do not rely on additional specialized algorithmic designs such as learning variances and performing variance-weighted learning and thus can leverage rich function approximations that are significantly beyond linear or tabular structures. The simplicity of the algorithms also implies that our horizon-free and second-order regret analysis is actually standard and mainly follows the general framework of optimism/pessimism in the face of uncertainty.

چکیده به فارسی (ترجمه ماشینی)

یادگیری یک مدل انتقال از طریق برآورد حداکثر احتمال (MLE) و به دنبال آن برنامه ریزی در داخل مدل آموخته شاید استاندارد ترین و ساده ترین چارچوب یادگیری تقویت کننده مدل (RL) باشد.در این کار ، ما نشان می دهیم که چنین یک طرح RL مبتنی بر مدل ساده ، هنگامی که مجهز به روشهای برنامه ریزی خوش بینانه و بدبینانه است ، در تنظیمات RL آنلاین و آفلاین ، پشیمانی قوی و پیچیدگی نمونه می شود.به ویژه ، ما نشان می دهیم که در شرایطی که پاداش عاقلانه مسیر بین صفر و یک عادی می شود و انتقال آن زمان هموژن است ، به مرزهای بدون افق و مرتبه دوم می رسد.عاری از افق به این معنی است که مرزهای ما هیچ وابستگی چند جمله ای به افق فرآیند تصمیم مارکوف ندارند.محدوده مرتبه دوم نوعی از محدودیت وابسته به نمونه است که مقیاس با توجه به واریانس بازده خط مشی هایی که می توانند اندک باشند وقتی سیستم تقریباً تعیین کننده باشد و (یا) سیاست بهینه مقادیر کمی دارد.ما برجسته می کنیم که الگوریتم های ما ساده ، نسبتاً استاندارد هستند و در واقع در ادبیات RL مورد مطالعه قرار گرفته اند: آنها یک مدل را از طریق MLE یاد می گیرند ، یک فضای نسخه را در اطراف راه حل MLE می سازند و بسته به اینکه آیا در این زمینه کار می کند ، برنامه ریزی خوش بین یا بدبینانه را انجام می دهند.حالت آنلاین یا آفلاین.این الگوریتم ها به طرح های الگوریتمی تخصصی اضافی مانند واریانس یادگیری و انجام یادگیری با وزن متکی نیستند و بنابراین می توانند از تقریب عملکرد غنی استفاده کنند که به طور قابل توجهی فراتر از ساختارهای خطی یا جدول هستند.سادگی الگوریتم ها همچنین دلالت بر این دارد که تجزیه و تحلیل پشیمانی بدون افق و مرتبه دوم ما در واقع استاندارد است و عمدتاً از چارچوب کلی خوش بینی/بدبین در مواجهه با عدم اطمینان پیروی می کند.