ترجمه فارسی مقاله رضایت از تعادل مارکوف باعث بهبود عملکرد در یادگیری تقلید آفلاین دسته ای می شود

چکیده

Imitation learning (IL) is notably effective for robotic tasks where directly programming behaviors or defining optimal control costs is challenging. In this work, we address a scenario where the imitator relies solely on observed behavior and cannot make environmental interactions during learning. It does not have additional supplementary datasets beyond the expert’s dataset nor any information about the transition dynamics. Unlike state-of-the-art (SOTA) IL methods, this approach tackles the limitations of conventional IL by operating in a more constrained and realistic setting. Our method uses the Markov balance equation and introduces a novel conditional density estimation-based imitation learning framework. It employs conditional normalizing flows for transition dynamics estimation and aims at satisfying a balance equation for the environment. Through a series of numerical experiments on Classic Control and MuJoCo environments, we demonstrate consistently superior empirical performance compared to many SOTA IL algorithms.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقلید (IL) به ویژه برای کارهای رباتیک که در آن رفتارهای برنامه نویسی مستقیم یا تعیین هزینه های کنترل بهینه چالش برانگیز است ، مؤثر است.در این کار ، ما به سناریویی می پردازیم که تقلید کننده فقط به رفتار مشاهده شده متکی است و نمی تواند تعامل محیطی را در حین یادگیری انجام دهد.این مجموعه داده های تکمیلی اضافی فراتر از مجموعه داده های متخصص و هیچ اطلاعاتی در مورد دینامیک انتقال ندارد.بر خلاف روشهای پیشرفته (SOTA) IL ، این رویکرد با کار در یک محیط محدودتر و واقع بینانه تر ، محدودیت های IL معمولی را برطرف می کند.روش ما از معادله تعادل Markov استفاده می کند و یک چارچوب یادگیری تقلید مبتنی بر تخمین مبتنی بر تخمین را معرفی می کند.از جریان عادی سازی مشروط برای برآورد دینامیک انتقال استفاده می کند و هدف آن رضایت یک معادله تعادل برای محیط زیست است.از طریق مجموعه ای از آزمایشات عددی در مورد کنترل کلاسیک و محیط های Mujoco ، ما عملکرد تجربی به طور مداوم برتر را در مقایسه با بسیاری از الگوریتم های SOTA IL نشان می دهیم.