ترجمه فارسی مقاله Prospec rl: از قبل برنامه‌ریزی کنید، سپس اجرا کنید

چکیده

Imagining potential outcomes of actions before execution helps agents make more informed decisions, a prospective thinking ability fundamental to human cognition. However, mainstream model-free Reinforcement Learning (RL) methods lack the ability to proactively envision future scenarios, plan, and guide strategies. These methods typically rely on trial and error to adjust policy functions, aiming to maximize cumulative rewards or long-term value, even if such high-reward decisions place the environment in extremely dangerous states. To address this, we propose the Prospective (ProSpec) RL method, which makes higher-value, lower-risk optimal decisions by imagining future n-stream trajectories. Specifically, ProSpec employs a dynamic model to predict future states (termed “imagined states”) based on the current state and a series of sampled actions. Furthermore, we integrate the concept of Model Predictive Control and introduce a cycle consistency constraint that allows the agent to evaluate and select the optimal actions from these trajectories. Moreover, ProSpec employs cycle consistency to mitigate two fundamental issues in RL: augmenting state reversibility to avoid irreversible events (low risk) and augmenting actions to generate numerous virtual trajectories, thereby improving data efficiency. We validated the effectiveness of our method on the DMControl benchmarks, where our approach achieved significant performance improvements. Code will be open-sourced upon acceptance.

چکیده به فارسی (ترجمه ماشینی)

تصور نتایج احتمالی اقدامات قبل از اجرای ، به نمایندگان کمک می کند تا تصمیمات آگاهانه تری بگیرند ، یک توانایی تفکر آینده نگر برای شناخت انسان.با این حال ، روشهای یادگیری تقویت کننده بدون مدل (RL) از توانایی پیش بینی پیش بینی پیش بینی سناریوهای آینده ، برنامه ریزی و استراتژی های راهنما برخوردار نیست.این روشها به طور معمول برای تنظیم کارکردهای خط مشی به آزمایش و خطا متکی هستند ، با هدف به حداکثر رساندن پاداش های تجمعی یا ارزش بلند مدت ، حتی اگر چنین تصمیمات پر رویه محیط را در حالت های بسیار خطرناک قرار دهد.برای پرداختن به این موضوع ، ما روش آینده نگر (Prospec) RL را پیشنهاد می کنیم ، که با تصور مسیرهای آینده N جریان ، تصمیمات بهینه با کمتری در معرض خطر را ایجاد می کند.به طور خاص ، Prospec از یک مدل پویا برای پیش بینی حالتهای آینده (“حالتهای تصور شده”) بر اساس وضعیت فعلی و یک سری اقدامات نمونه برداری استفاده می کند.علاوه بر این ، ما مفهوم کنترل پیش بینی مدل را یکپارچه می کنیم و یک محدودیت قوام چرخه را معرفی می کنیم که به عامل اجازه می دهد تا اقدامات بهینه را از این مسیرها ارزیابی و انتخاب کند.علاوه بر این ، Prospec از قوام چرخه برای کاهش دو موضوع اساسی در RL استفاده می کند: افزایش برگشت پذیری حالت برای جلوگیری از وقایع برگشت ناپذیر (کم خطر) و تقویت اقدامات برای ایجاد مسیرهای مجازی متعدد ، در نتیجه باعث افزایش کارایی داده ها می شود.ما اثربخشی روش خود را در معیارهای DMControl تأیید کردیم ، جایی که رویکرد ما به پیشرفت های قابل توجهی در عملکرد رسیده است.کد پس از پذیرش منبع باز خواهد شد.