ترجمه فارسی مقاله SYMPOL: یادگیری تقویتی مبتنی بر درخت نمادین

چکیده

Reinforcement learning (RL) has seen significant success across various domains, but its adoption is often limited by the black-box nature of neural network policies, making them difficult to interpret. In contrast, symbolic policies allow representing decision-making strategies in a compact and interpretable way. However, learning symbolic policies directly within on-policy methods remains challenging. In this paper, we introduce SYMPOL, a novel method for SYMbolic tree-based on-POLicy RL. SYMPOL employs a tree-based model integrated with a policy gradient method, enabling the agent to learn and adapt its actions while maintaining a high level of interpretability. We evaluate SYMPOL on a set of benchmark RL tasks, demonstrating its superiority over alternative tree-based RL approaches in terms of performance and interpretability. To the best of our knowledge, this is the first method, that allows a gradient-based end-to-end learning of interpretable, axis-aligned decision trees within existing on-policy RL algorithms. Therefore, SYMPOL can become the foundation for a new class of interpretable RL based on decision trees. Our implementation is available under: https://github.com/s-marton/SYMPOL

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت کننده (RL) در حوزه های مختلف موفقیت چشمگیری داشته است ، اما پذیرش آن اغلب با ماهیت جعبه سیاه سیاست های شبکه عصبی محدود می شود و تفسیر آنها را دشوار می کند.در مقابل ، سیاست های نمادین اجازه می دهد تا استراتژی های تصمیم گیری را به روشی جمع و جور و قابل تفسیر نشان دهند.با این حال ، یادگیری سیاستهای نمادین به طور مستقیم در روشهای در سیاست چالش برانگیز است.در این مقاله ، ما Sympol را معرفی می کنیم ، روشی جدید برای RL بر اساس درخت نمادین.Sympol از یک مدل مبتنی بر درخت استفاده می کند که با یک روش شیب خط مشی یکپارچه است و به عامل این امکان را می دهد تا ضمن حفظ سطح بالایی از تفسیر ، اقدامات خود را بیاموزد و تطبیق دهد.ما Sympol را در مجموعه ای از کارهای RL معیار ارزیابی می کنیم ، و برتری آن را نسبت به رویکردهای RL مبتنی بر درخت جایگزین از نظر عملکرد و تفسیر نشان می دهیم.به بهترین دانش ما ، این اولین روش است ، که امکان یادگیری انتهای مبتنی بر گرادیان از درختان تصمیم گیری قابل تفسیر ، محور را در الگوریتم های RL موجود در سیاست فراهم می کند.بنابراین ، Sympol می تواند پایه و اساس طبقه جدیدی از RL قابل تفسیر بر اساس درختان تصمیم گیری شود.اجرای ما در دسترس است: https://github.com/s-marton/sympol