ترجمه فارسی مقاله یادگیری تقویتی ترکیبی موانع اندازه نمونه در MDP های خطی را از بین می‌برد

چکیده

Hybrid Reinforcement Learning (RL), where an agent learns from both an offline dataset and online explorations in an unknown environment, has garnered significant recent interest. A crucial question posed by Xie et al. (2022) is whether hybrid RL can improve upon the existing lower bounds established in purely offline and purely online RL without relying on the single-policy concentrability assumption. While Li et al. (2023) provided an affirmative answer to this question in the tabular PAC RL case, the question remains unsettled for both the regret-minimizing RL case and the non-tabular case. In this work, building upon recent advancements in offline RL and reward-agnostic exploration, we develop computationally efficient algorithms for both PAC and regret-minimizing RL with linear function approximation, without single-policy concentrability. We demonstrate that these algorithms achieve sharper error or regret bounds that are no worse than, and can improve on, the optimal sample complexity in offline RL (the first algorithm, for PAC RL) and online RL (the second algorithm, for regret-minimizing RL) in linear Markov decision processes (MDPs), regardless of the quality of the behavior policy. To our knowledge, this work establishes the tightest theoretical guarantees currently available for hybrid RL in linear MDPs.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت کننده ترکیبی (RL) ، جایی که یک عامل از یک مجموعه داده آفلاین و اکتشافات آنلاین در یک محیط ناشناخته یاد می گیرد ، علاقه مهمی را به خود جلب کرده است.یک سوال اساسی که توسط شی و همکاران مطرح شده است.(2022) این است که آیا RL هیبریدی می تواند بر مرزهای پایین موجود ایجاد شده در RL کاملاً آفلاین و صرفاً آنلاین بدون تکیه بر فرض غلظت تک خطی بهبود یابد.در حالی که لی و همکاران.(2023) در مورد جدولی PAC RL ، پاسخ مثبت به این سؤال ارائه داد ، این سؤال برای هر دو مورد RL با پشیمانی و مورد غیر تابلویی حل نشده است.در این کار ، با ایجاد پیشرفت های اخیر در اکتشافات آفلاین RL و اکتشافات پاداش-آگنوستیک ، ما الگوریتم های محاسباتی کارآمد را برای PAC و RL با پشیمانی با ابراز پشیمانی با تقریب عملکرد خطی ، بدون غلظت تک سیاست ایجاد می کنیم.ما نشان می دهیم که این الگوریتم ها به خطای واضح تر یا پشیمانی می رسند که بدتر از آن نیستند و می توانند پیچیدگی بهینه نمونه در RL آفلاین (الگوریتم اول ، برای PAC RL) و RL آنلاین (الگوریتم دوم ، برای ناسازگاری ناسازگار ، بهبود یابد.RL) در فرآیندهای تصمیم گیری خطی مارکوف (MDP) ، صرف نظر از کیفیت سیاست رفتار.به دانش ما ، این کار محکم ترین ضمانت های نظری را که در حال حاضر برای RL ترکیبی در MDP های خطی موجود است ، تعیین می کند.