ترجمه فارسی مقاله عاقلانه روی نمودار قدم بردارید: استدلال نمودار دانش با عوامل دوگانه از طریق هدایت-اکتشاف کارآمد

چکیده

Recent years, multi-hop reasoning has been widely studied for knowledge graph (KG) reasoning due to its efficacy and interpretability. However, previous multi-hop reasoning approaches are subject to two primary shortcomings. First, agents struggle to learn effective and robust policies at the early phase due to sparse rewards. Second, these approaches often falter on specific datasets like sparse knowledge graphs, where agents are required to traverse lengthy reasoning paths. To address these problems, we propose a multi-hop reasoning model with dual agents based on hierarchical reinforcement learning (HRL), which is named FULORA. FULORA tackles the above reasoning challenges by eFficient GUidance-ExpLORAtion between dual agents. The high-level agent walks on the simplified knowledge graph to provide stage-wise hints for the low-level agent walking on the original knowledge graph. In this framework, the low-level agent optimizes a value function that balances two objectives: (1) maximizing return, and (2) integrating efficient guidance from the high-level agent. Experiments conducted on three real-word knowledge graph datasets demonstrate that FULORA outperforms RL-based baselines, especially in the case of long-distance reasoning.

چکیده به فارسی (ترجمه ماشینی)

سالهای اخیر ، استدلال چند هاپ به دلیل اثربخشی و تفسیر آن ، به طور گسترده ای برای استدلال نمودار دانش (کیلوگرم) مورد مطالعه قرار گرفته است.با این حال ، رویکردهای استدلال چند هاپ قبلی منوط به دو کاستی اصلی هستند.اول ، مأمورین برای یادگیری سیاست های مؤثر و قوی در مرحله اولیه به دلیل پاداش های پراکنده تلاش می کنند.دوم ، این رویکردها اغلب در مجموعه داده های خاص مانند نمودارهای دانش پراکنده ، جایی که مأمورین برای عبور از مسیرهای استدلال طولانی مورد نیاز هستند ، متلاشی می شوند.برای پرداختن به این مشکلات ، ما یک مدل استدلال چند هاپ با عوامل دوگانه مبتنی بر یادگیری تقویت سلسله مراتبی (HRL) ، که نامگذاری شده است ، پیشنهاد می کنیم.Fulora با چالش های استدلال فوق با راهنمایی کارآمد-اکتشاف بین عوامل دوگانه مقابله می کند.عامل سطح بالا در نمودار دانش ساده قدم می زند تا نکات عاقلانه ای را برای عامل سطح پایین که در نمودار دانش اصلی قدم می زند ، ارائه دهد.در این چارچوب ، عامل سطح پایین یک تابع ارزش را بهینه می کند که دو هدف را متعادل می کند: (1) به حداکثر رساندن بازگشت ، و (2) ادغام راهنمایی کارآمد از عامل سطح بالا.آزمایشات انجام شده بر روی سه مجموعه داده نمودار دانش با کلمه واقعی نشان می دهد که فلورا از خطوط پایه RL بهتر عمل می کند ، به ویژه در مورد استدلال در مسافت طولانی.