ترجمه فارسی مقاله حل POMDP های یکنواخت با بودجه واقعاً عظیم با یادگیری تقویتی متا با هدایت Oracle

چکیده

Monotonic Partially Observable Markov Decision Processes (POMDPs), where the system state progressively decreases until a restorative action is performed, can be used to model sequential repair problems effectively. This paper considers the problem of solving budget-constrained multi-component monotonic POMDPs, where a finite budget limits the maximal number of restorative actions. For a large number of components, solving such a POMDP using current methods is computationally intractable due to the exponential growth in the state space with an increasing number of components. To address this challenge, we propose a two-step approach. Since the individual components of a budget-constrained multi-component monotonic POMDP are only connected via the shared budget, we first approximate the optimal budget allocation among these components using an approximation of each component POMDP’s optimal value function which is obtained through a random forest model. Subsequently, we introduce an oracle-guided meta-trained Proximal Policy Optimization (PPO) algorithm to solve each of the independent budget-constrained single-component monotonic POMDPs. The oracle policy is obtained by performing value iteration on the corresponding monotonic Markov Decision Process (MDP). This two-step method provides scalability in solving truly massive multi-component monotonic POMDPs. To demonstrate the efficacy of our approach, we consider a real-world maintenance scenario that involves inspection and repair of an administrative building by a team of agents within a maintenance budget. Finally, we perform a computational complexity analysis for a varying number of components to show the scalability of the proposed approach.

چکیده به فارسی (ترجمه ماشینی)

فرایندهای تصمیم گیری Markov تا حدی قابل مشاهده (POMDP) ​​، که در آن وضعیت سیستم به تدریج کاهش می یابد تا یک عمل ترمیمی انجام شود ، می تواند برای مدل سازی مشکلات ترمیم پی در پی به طور مؤثر استفاده شود.در این مقاله مشکل حل POMDP های یکپارچه چند جزء محدود شده با بودجه ، جایی که یک بودجه محدود حداکثر تعداد اقدامات ترمیمی را محدود می کند ، در نظر گرفته شده است.برای تعداد زیادی از مؤلفه ها ، حل چنین POMDP با استفاده از روشهای فعلی به دلیل رشد نمایی در فضای حالت با تعداد فزاینده ای از مؤلفه ها ، از نظر محاسباتی قابل محاسبه است.برای پرداختن به این چالش ، ما یک رویکرد دو مرحله ای را پیشنهاد می کنیم.از آنجا که مؤلفه های فردی یک مؤلفه چند مؤلفه یکپارچه POMDP فقط از طریق بودجه مشترک به هم وصل می شود ، ما ابتدا تخصیص بودجه بهینه را در بین این مؤلفه ها با استفاده از تقریب عملکرد بهینه POMDP که از طریق یک مدل جنگل تصادفی بدست می آید ، تقریب می دهیم.بشرپس از آن ، ما یک الگوریتم بهینه سازی خط مشی پروگزیمال با هدایت اوراکل هدایت شده (PPO) را برای حل هر یک از POMDP های یکپارچه تک مؤلفه مستقل محدود بودجه معرفی می کنیم.خط مشی اوراکل با انجام تکرار ارزش در فرآیند تصمیم گیری یکنواخت مارکوف مربوطه (MDP) به دست می آید.این روش دو مرحله ای مقیاس پذیری را در حل POMDP های یکپارچه چند جزء واقعاً گسترده فراهم می کند.برای نشان دادن اثربخشی رویکرد خود ، ما یک سناریوی نگهداری در دنیای واقعی را در نظر می گیریم که شامل بازرسی و تعمیر یک ساختمان اداری توسط تیمی از نمایندگان در بودجه نگهداری است.سرانجام ، ما یک تجزیه و تحلیل پیچیدگی محاسباتی را برای تعداد متفاوتی از مؤلفه ها انجام می دهیم تا مقیاس پذیری رویکرد پیشنهادی را نشان دهیم.