ترجمه فارسی مقاله چارچوب انطباق آفلاین برای یادگیری تقویتی چند هدفه محدود

چکیده

In recent years, significant progress has been made in multi-objective reinforcement learning (RL) research, which aims to balance multiple objectives by incorporating preferences for each objective. In most existing studies, specific preferences must be provided during deployment to indicate the desired policies explicitly. However, designing these preferences depends heavily on human prior knowledge, which is typically obtained through extensive observation of high-performing demonstrations with expected behaviors. In this work, we propose a simple yet effective offline adaptation framework for multi-objective RL problems without assuming handcrafted target preferences, but only given several demonstrations to implicitly indicate the preferences of expected policies. Additionally, we demonstrate that our framework can naturally be extended to meet constraints on safety-critical objectives by utilizing safe demonstrations, even when the safety thresholds are unknown. Empirical results on offline multi-objective and safe tasks demonstrate the capability of our framework to infer policies that align with real preferences while meeting the constraints implied by the provided demonstrations.

چکیده به فارسی (ترجمه ماشینی)

در سالهای اخیر ، پیشرفت قابل توجهی در تحقیقات یادگیری تقویت کننده چند منظوره (RL) حاصل شده است ، که هدف آن تعادل چندین هدف با درج ترجیحات برای هر هدف است.در بیشتر مطالعات موجود ، ترجیحات خاص باید در هنگام استقرار ارائه شود تا سیاست های مورد نظر صریح را نشان دهد.با این حال ، طراحی این ترجیحات به دانش قبلی انسان بستگی دارد ، که به طور معمول از طریق مشاهده گسترده تظاهرات با عملکرد بالا با رفتارهای مورد انتظار بدست می آید.در این کار ، ما یک چارچوب سازگاری آفلاین ساده و در عین حال مؤثر برای مشکلات RL چند منظوره بدون فرض ترجیحات هدف دست ساز ، پیشنهاد می کنیم ، اما فقط با توجه به چندین تظاهرات برای نشان دادن به طور ضمنی نشانگر ترجیحات سیاست های مورد انتظار است.علاوه بر این ، ما نشان می دهیم که چارچوب ما به طور طبیعی می تواند با استفاده از تظاهرات ایمن ، حتی اگر آستانه های ایمنی ناشناخته باشد ، محدودیت های مربوط به اهداف مهم را برآورده سازد.نتایج تجربی در کارهای چند منظوره و ایمن آفلاین ، توانایی چارچوب ما را برای استنباط سیاست هایی که با ترجیحات واقعی در حالی که برآورده می شود ، نشان می دهد که محدودیت های دلالت بر تظاهرات ارائه شده را نشان می دهد.