ترجمه فارسی مقاله توضیح باورهای آینده یک نماینده از طریق تجزیه موقت برآوردگرهای پاداش آینده

چکیده

Future reward estimation is a core component of reinforcement learning agents; i.e., Q-value and state-value functions, predicting an agent’s sum of future rewards. Their scalar output, however, obfuscates when or what individual future rewards an agent may expect to receive. We address this by modifying an agent’s future reward estimator to predict their next N expected rewards, referred to as Temporal Reward Decomposition (TRD). This unlocks novel explanations of agent behaviour. Through TRD we can: estimate when an agent may expect to receive a reward, the value of the reward and the agent’s confidence in receiving it; measure an input feature’s temporal importance to the agent’s action decisions; and predict the influence of different actions on future rewards. Furthermore, we show that DQN agents trained on Atari environments can be efficiently retrained to incorporate TRD with minimal impact on performance.

چکیده به فارسی (ترجمه ماشینی)

برآورد پاداش آینده یک مؤلفه اصلی عوامل یادگیری تقویت است.یعنی عملکردهای ارزش Q و ارزش دولت ، پیش بینی مبلغ یک عامل از پاداش های آینده.با این حال ، خروجی مقیاس آنها ، هنگامی که آینده یا چه پاداش فرد ممکن است یک نماینده را که انتظار می رود دریافت کند ، مبهوت می کند.ما این موضوع را با اصلاح برآوردگر پاداش آینده عامل برای پیش بینی پاداش های بعدی مورد انتظار خود ، که به عنوان تجزیه پاداش زمانی (TRD) گفته می شود ، می پردازیم.این توضیحات جدید در مورد رفتار عامل را باز می کند.از طریق TRD می توانیم: تخمین بزنید که یک عامل ممکن است انتظار داشته باشد پاداش ، ارزش پاداش و اعتماد به نفس نماینده در دریافت آن را دریافت کند.اهمیت زمانی یک ویژگی ورودی را به تصمیمات اقدام عامل اندازه گیری کنید.و تأثیر اقدامات مختلف بر پاداش های آینده را پیش بینی کنید.علاوه بر این ، ما نشان می دهیم که عوامل DQN که در محیط های Atari آموزش دیده اند می توانند به طور مؤثر آموزش ببینند تا TRD را با حداقل تأثیر بر عملکرد ترکیب کنند.