ترجمه فارسی مقاله تشخیص و توقف هدف خودگردان در یادگیری تقویتی: مطالعه موردی در مورد برآورد مدت منبع

چکیده

Reinforcement Learning has revolutionized decision-making processes in dynamic environments, yet it often struggles with autonomously detecting and achieving goals without clear feedback signals. For example, in a Source Term Estimation problem, the lack of precise environmental information makes it challenging to provide clear feedback signals and to define and evaluate how the source’s location is determined. To address this challenge, the Autonomous Goal Detection and Cessation (AGDC) module was developed, enhancing various RL algorithms by incorporating a self-feedback mechanism for autonomous goal detection and cessation upon task completion. Our method effectively identifies and ceases undefined goals by approximating the agent’s belief, significantly enhancing the capabilities of RL algorithms in environments with limited feedback. To validate effectiveness of our approach, we integrated AGDC with deep Q-Network, proximal policy optimization, and deep deterministic policy gradient algorithms, and evaluated its performance on the Source Term Estimation problem. The experimental results showed that AGDC-enhanced RL algorithms significantly outperformed traditional statistical methods such as infotaxis, entrotaxis, and dual control for exploitation and exploration, as well as a non-statistical random action selection method. These improvements were evident in terms of success rate, mean traveled distance, and search time, highlighting AGDC’s effectiveness and efficiency in complex, real-world scenarios.

چکیده به فارسی (ترجمه ماشینی)

یادگیری تقویت شده فرآیندهای تصمیم گیری را در محیط های پویا متحول کرده است ، اما اغلب با شناسایی خودمختار و دستیابی به اهداف بدون سیگنال های بازخورد روشن تلاش می کند.به عنوان مثال ، در یک مشکل برآورد اصطلاح منبع ، عدم وجود اطلاعات دقیق محیطی ، ارائه سیگنال های بازخورد واضح و تعریف و ارزیابی نحوه تعیین مکان منبع را به چالش می کشد.برای پرداختن به این چالش ، ماژول تشخیص و قطع هدف مستقل (AGDC) توسعه داده شد و الگوریتم های مختلف RL را با در نظر گرفتن یک مکانیسم بازگشت به خود برای تشخیص هدف خودمختار و قطع پس از اتمام کار تقویت کرد.روش ما به طور موثری با تقریب اعتقاد عامل ، اهداف مشخص نشده را شناسایی و متوقف می کند ، و به طور قابل توجهی قابلیت های الگوریتم های RL را در محیط هایی با بازخورد محدود افزایش می دهد.برای اعتبارسنجی اثربخشی رویکرد خود ، ما AGDC را با شبکه Q عمیق ، بهینه سازی سیاست پروگزیمال و الگوریتم های شیب سیاست قطعی عمیق یکپارچه کردیم و عملکرد آن را بر روی مسئله تخمین اصطلاح منبع ارزیابی کردیم.نتایج تجربی نشان داد که الگوریتم های RL با افزایش AGDC به طور قابل توجهی از روشهای آماری سنتی مانند infotaxis ، entrotaxis و کنترل دوگانه برای بهره برداری و اکتشاف و همچنین یک روش انتخاب عملکرد تصادفی غیر آماری استفاده می کنند.این پیشرفت ها از نظر میزان موفقیت ، میانگین فاصله سفر و زمان جستجو مشهود بود و اثربخشی و کارآیی AGDC را در سناریوهای پیچیده و واقعی در دنیای واقعی برجسته می کرد.