مقاله L (M)V-IQL: یادگیری تقویت معکوس چند اهدافی برای توصیف رفتار حیوانات

چکیده

In advancing the understanding of decision-making processes, mathematical models, particularly Inverse Reinforcement Learning (IRL), have proven instrumental in reconstructing animal’s multiple intentions amidst complex behaviors. Given the recent development of a continuous-time multi-intention IRL framework, there has been persistent inquiry into inferring discrete time-varying reward functions with multiple intention IRL approaches. To tackle the challenge, we introduce the Latent (Markov) Variable Inverse Q-learning (L(M)V-IQL) algorithms, a novel IRL framework tailored for accommodating discrete intrinsic rewards. Leveraging an Expectation-Maximization approach, we cluster observed trajectories into distinct intentions and independently solve the IRL problem for each. Demonstrating the efficacy of L(M)V-IQL through simulated experiments and its application to different real mouse behavior datasets, our approach surpasses current benchmarks in animal behavior prediction, producing interpretable reward functions. This advancement holds promise for neuroscience and psychology, contributing to a deeper understanding of animal decision-making and uncovering underlying brain mechanisms.

چکیده به فارسی (ترجمه ماشینی)

در پیشبرد درک فرآیندهای تصمیم گیری ، مدلهای ریاضی ، به ویژه یادگیری تقویت معکوس (IRL) ، نقش مهمی در بازسازی اهداف متعدد حیوانات در میان رفتارهای پیچیده دارند.با توجه به توسعه اخیر یک چارچوب IRL چند ورودی مداوم ، تحقیق مداوم در مورد استنباط توابع پاداش متغیر متغیر گسسته با رویکردهای IRL چند هدف وجود دارد.برای مقابله با این چالش ، ما الگوریتم های متغیر معکوس q-یادگیری معکوس (L (M) V-IQL) را معرفی می کنیم ، یک چارچوب IRL رمان متناسب برای اسکان پاداش های ذاتی گسسته.با استفاده از یک رویکرد حداکثر انتظار ، ما مسیرهای مشاهده شده را به اهداف متمایز مشاهده می کنیم و به طور مستقل مشکل IRL را برای هر یک حل می کنیم.با نشان دادن اثربخشی L (M) V-IQL از طریق آزمایش های شبیه سازی شده و کاربرد آن در مجموعه داده های مختلف رفتار ماوس ، رویکرد ما از معیارهای فعلی در پیش بینی رفتار حیوانات فراتر می رود و عملکردهای پاداش قابل تفسیر را تولید می کند.این پیشرفت نوید برای علوم اعصاب و روانشناسی می دهد و به درک عمیق تر از تصمیم گیری حیوانات و کشف مکانیسم های اساسی مغز کمک می کند.