مقاله شکل گیری پاداش عامل اصلی در MDP ها

چکیده

Principal-agent problems arise when one party acts on behalf of another, leading to conflicts of interest. The economic literature has extensively studied principal-agent problems, and recent work has extended this to more complex scenarios such as Markov Decision Processes (MDPs). In this paper, we further explore this line of research by investigating how reward shaping under budget constraints can improve the principal’s utility. We study a two-player Stackelberg game where the principal and the agent have different reward functions, and the agent chooses an MDP policy for both players. The principal offers an additional reward to the agent, and the agent picks their policy selfishly to maximize their reward, which is the sum of the original and the offered reward. Our results establish the NP-hardness of the problem and offer polynomial approximation algorithms for two classes of instances: Stochastic trees and deterministic decision processes with a finite horizon.

چکیده به فارسی (ترجمه ماشینی)

مشکلات اصلی عامل هنگامی بوجود می آید که یک طرف به نمایندگی از شخص دیگری عمل کند و منجر به تضاد منافع شود.ادبیات اقتصادی به طور گسترده مشکلات اصلی عامل را مورد مطالعه قرار داده است ، و کارهای اخیر این کار را به سناریوهای پیچیده تری مانند فرآیندهای تصمیم گیری مارکوف (MDP) گسترش داده است.در این مقاله ، ما با بررسی چگونگی شکل گیری پاداش تحت محدودیت های بودجه می توانند ابزار اصلی را بهبود بخشند.ما یک بازی دو نفره Stackelberg را مطالعه می کنیم که در آن مدیر و عامل دارای عملکردهای مختلف پاداش هستند و نماینده یک سیاست MDP را برای هر دو بازیکن انتخاب می کند.اصلی پاداش اضافی را به نماینده ارائه می دهد ، و نماینده سیاست خود را برای خودخواهانه انتخاب می کند تا پاداش خود را به حداکثر برساند ، که این مبلغ اصلی و پاداش ارائه شده است.نتایج ما سخت بودن NP را از این مسئله تعیین می کند و الگوریتم های تقریب چند جمله ای را برای دو طبقه از موارد ارائه می دهد: درختان تصادفی و فرآیندهای تصمیم گیری قطعی با افق محدود.