ترجمه فارسی مقاله ارزش اطلاعات و مشخصات پاداش در استنباط فعال و POMDP ها

چکیده

Expected free energy (EFE) is a central quantity in active inference which has recently gained popularity due to its intuitive decomposition of the expected value of control into a pragmatic and an epistemic component. While numerous conjectures have been made to justify EFE as a decision making objective function, the most widely accepted is still its intuitiveness and resemblance to variational free energy in approximate Bayesian inference. In this work, we take a bottom up approach and ask: taking EFE as given, what’s the resulting agent’s optimality gap compared with a reward-driven reinforcement learning (RL) agent, which is well understood? By casting EFE under a particular class of belief MDP and using analysis tools from RL theory, we show that EFE approximates the Bayes optimal RL policy via information value. We discuss the implications for objective specification of active inference agents.

چکیده به فارسی (ترجمه ماشینی)

انرژی آزاد پیش بینی شده (EFE) یک مقدار اصلی در استنباط فعال است که اخیراً به دلیل تجزیه شهودی آن از ارزش مورد انتظار کنترل به یک مؤلفه عملی و معرفتی محبوبیت زیادی پیدا کرده است.در حالی که حدس های بی شماری برای توجیه EFE به عنوان یک عملکرد هدف تصمیم گیری ساخته شده است ، اما بیشترین پذیرش هنوز هم شهودی و شباهت آن با انرژی آزاد متنوع در استنتاج تقریبی بیزی است.در این کار ، ما یک رویکرد پایین به بالا را اتخاذ می کنیم و می پرسیم: با استفاده از EFE ، شکاف بهینه عامل حاصل در مقایسه با یک عامل یادگیری تقویت کننده پاداش (RL) ، که به خوبی درک شده است؟با ریخته گری EFE تحت یک کلاس خاص از MDP اعتقادی و استفاده از ابزارهای تجزیه و تحلیل از تئوری RL ، ما نشان می دهیم که EFE سیاست بهینه RL Bayes را از طریق ارزش اطلاعات تقریب می دهد.ما در مورد پیامدهای مشخصات عینی عوامل استنباط فعال بحث می کنیم.