ترجمه فارسی مقاله یادگیری تقویتی قوی با معیارهای خطر اعوجاج پویا

چکیده

In a reinforcement learning (RL) setting, the agent’s optimal strategy heavily depends on her risk preferences and the underlying model dynamics of the training environment. These two aspects influence the agent’s ability to make well-informed and time-consistent decisions when facing testing environments. In this work, we devise a framework to solve robust risk-aware RL problems where we simultaneously account for environmental uncertainty and risk with a class of dynamic robust distortion risk measures. Robustness is introduced by considering all models within a Wasserstein ball around a reference model. We estimate such dynamic robust risk measures using neural networks by making use of strictly consistent scoring functions, derive policy gradient formulae using the quantile representation of distortion risk measures, and construct an actor-critic algorithm to solve this class of robust risk-aware RL problems. We demonstrate the performance of our algorithm on a portfolio allocation example.

چکیده به فارسی (ترجمه ماشینی)

در یک تنظیم یادگیری تقویت (RL) ، استراتژی بهینه عامل به شدت به ترجیحات ریسک وی و پویایی مدل اساسی محیط آموزش بستگی دارد.این دو جنبه بر توانایی عامل در تصمیم گیری های آگاه و سازگار با زمان در هنگام مواجهه با محیط های آزمایش تأثیر می گذارد.در این کار ، ما یک چارچوب را برای حل مشکلات RL آگاهی از ریسک قوی که در آن همزمان با یک کلاس از اقدامات خطر اعوجاج قوی پویا ، به طور همزمان حساب می کنیم ، طراحی می کنیم.استحکام با در نظر گرفتن همه مدل های موجود در یک توپ Wasserstein در اطراف یک مدل مرجع معرفی می شود.ما چنین اقدامات ریسک قوی پویا را با استفاده از شبکه های عصبی با استفاده از توابع امتیاز دهی کاملاً مداوم تخمین می زنیم ، فرمولهای شیب سیاست را با استفاده از بازنمایی کمی از اقدامات خطر اعوجاج می گیریم و یک الگوریتم بازیگر بحرانی را برای حل این طبقه از مشکلات RL ریسک قوی ایجاد می کنیم.بشرما عملکرد الگوریتم خود را در یک مثال تخصیص نمونه کارها نشان می دهیم.