ترجمه فارسی مقاله برنامه ریزی تکراری بدبینانه برای pomdps قوی

چکیده

Robust partially observable Markov decision processes (robust POMDPs) extend classical POMDPs to handle additional uncertainty on the transition and observation probabilities via so-called uncertainty sets. Policies for robust POMDPs must not only be memory-based to account for partial observability but also robust against model uncertainty to account for the worst-case instances from the uncertainty sets. We propose the pessimistic iterative planning (PIP) framework, which finds robust memory-based policies for robust POMDPs. PIP alternates between two main steps: (1) selecting an adversarial (non-robust) POMDP via worst-case probability instances from the uncertainty sets; and (2) computing a finite-state controller (FSC) for this adversarial POMDP. We evaluate the performance of this FSC on the original robust POMDP and use this evaluation in step (1) to select the next adversarial POMDP. Within PIP, we propose the rFSCNet algorithm. In each iteration, rFSCNet finds an FSC through a recurrent neural network trained using supervision policies optimized for the adversarial POMDP. The empirical evaluation in four benchmark environments showcases improved robustness against a baseline method in an ablation study and competitive performance compared to a state-of-the-art robust POMDP solver.

چکیده به فارسی (ترجمه ماشینی)

فرآیندهای تصمیم گیری Markov تا حدی قابل مشاهده (POMDP های قوی) POMDP های کلاسیک را گسترش می دهند تا عدم اطمینان اضافی در مورد احتمال انتقال و مشاهده از طریق مجموعه های به اصطلاح عدم اطمینان را انجام دهند.سیاست های POMDP های قوی نه تنها باید مبتنی بر حافظه باشند تا مشاهدات جزئی را به خود اختصاص دهند بلکه در برابر عدم اطمینان مدل نیز قوی هستند تا نمونه های بدترین حالت از مجموعه های عدم اطمینان را به خود اختصاص دهند.ما چارچوب برنامه ریزی تکراری بدبینانه (PIP) را پیشنهاد می کنیم ، که سیاست های مبتنی بر حافظه قوی را برای POMDP های قوی پیدا می کند.PIP بین دو مرحله اصلی متناوب است: (1) انتخاب یک POMDP مخالف (غیر راوبوست) از طریق موارد احتمالی بدترین حالت از مجموعه عدم اطمینان.و (2) محاسبه یک کنترلر حالت محدود (FSC) برای این POMDP مخالف.ما عملکرد این FSC را در POMDP قوی اصلی ارزیابی می کنیم و از این ارزیابی در مرحله (1) برای انتخاب POMDP بعدی مخالف استفاده می کنیم.در PIP ، ما الگوریتم RFSCNET را پیشنهاد می کنیم.در هر تکرار ، RFSCNET FSC را از طریق یک شبکه عصبی مکرر که با استفاده از سیاست های نظارتی بهینه شده برای POMDP مخالف آموزش داده می شود ، پیدا می کند.ارزیابی تجربی در چهار محیط معیار نشان می دهد که استحکام در برابر یک روش پایه در یک مطالعه فرسایش و عملکرد رقابتی در مقایسه با یک حل کننده پیشرفته POMDP قوی ، بهبود یافته است.