ترجمه فارسی مقاله اکتشافات کارگردانی در یادگیری تقویت از منطق زمانی خطی

چکیده

Linear temporal logic (LTL) is a powerful language for task specification in reinforcement learning, as it allows describing objectives beyond the expressivity of conventional discounted return formulations. Nonetheless, recent works have shown that LTL formulas can be translated into a variable rewarding and discounting scheme, whose optimization produces a policy maximizing a lower bound on the probability of formula satisfaction. However, the synthesized reward signal remains fundamentally sparse, making exploration challenging. We aim to overcome this limitation, which can prevent current algorithms from scaling beyond low-dimensional, short-horizon problems. We show how better exploration can be achieved by further leveraging the LTL specification and casting its corresponding Limit Deterministic Büchi Automaton (LDBA) as a Markov reward process, thus enabling a form of high-level value estimation. By taking a Bayesian perspective over LDBA dynamics and proposing a suitable prior distribution, we show that the values estimated through this procedure can be treated as a shaping potential and mapped to informative intrinsic rewards. Empirically, we demonstrate applications of our method from tabular settings to high-dimensional continuous systems, which have so far represented a significant challenge for LTL-based reinforcement learning algorithms.

چکیده به فارسی (ترجمه ماشینی)

منطق زمانی خطی (LTL) یک زبان قدرتمند برای مشخصات کار در یادگیری تقویت است ، زیرا این امکان را می دهد تا اهداف فراتر از بیان فرمولاسیون بازده با تخفیف معمولی را توصیف کند.با این وجود ، آثار اخیر نشان داده اند که فرمول های LTL می توانند به یک طرح پاداش و تخفیف متغیر ترجمه شوند ، که بهینه سازی آن سیاستی را به حداکثر می رساند که محدودیت پایین تر از احتمال رضایت فرمول را به دست می آورد.با این حال ، سیگنال پاداش سنتز شده اساساً پراکنده است و اکتشاف را به چالش می کشد.هدف ما غلبه بر این محدودیت است ، که می تواند از الگوریتم های فعلی جلوگیری کند و از مشکلات کمتری و کمتری در زمینه افشون استفاده کند.ما نشان می دهیم که چگونه می توان با استفاده بیشتر از مشخصات LTL و به دست آوردن محدودیت مربوط به آن (LDBA) به عنوان یک فرآیند پاداش مارکوف ، اکتشاف بهتر را بدست آورد ، بنابراین نوعی تخمین ارزش سطح بالا را امکان پذیر می کند.با در نظر گرفتن یک دیدگاه بیزی نسبت به پویایی LDBA و پیشنهاد توزیع قبلی مناسب ، ما نشان می دهیم که مقادیر تخمین زده شده از طریق این روش را می توان به عنوان یک پتانسیل شکل دهنده برخورد کرد و به پاداش های ذاتی آموزنده نقشه برداری کرد.از نظر تجربی ، ما برنامه های روش خود را از تنظیمات جدولی گرفته تا سیستم های مداوم با ابعاد بالا نشان می دهیم ، که تاکنون یک چالش مهم برای الگوریتم های یادگیری تقویت شده مبتنی بر LTL را نشان داده اند.