ترجمه فارسی مقاله GINO-Q: یادگیری یک خط مشی شاخص مجانبی بهینه برای راهزنان چند دستی بی قرار

چکیده

The restless multi-armed bandit (RMAB) framework is a popular model with applications across a wide variety of fields. However, its solution is hindered by the exponentially growing state space (with respect to the number of arms) and the combinatorial action space, making traditional reinforcement learning methods infeasible for large-scale instances. In this paper, we propose GINO-Q, a three-timescale stochastic approximation algorithm designed to learn an asymptotically optimal index policy for RMABs. GINO-Q mitigates the curse of dimensionality by decomposing the RMAB into a series of subproblems, each with the same dimension as a single arm, ensuring that complexity increases linearly with the number of arms. Unlike recently developed Whittle-index-based algorithms, GINO-Q does not require RMABs to be indexable, enhancing its flexibility and applicability. Our experimental results demonstrate that GINO-Q consistently learns near-optimal policies, even for non-indexable RMABs where Whittle-index-based algorithms perform poorly, and it converges significantly faster than existing baselines.

چکیده به فارسی (ترجمه ماشینی)

چارچوب راهزن چند زرهی بی قرار (RMAB) یک مدل محبوب با برنامه های کاربردی در زمینه های متنوعی است.با این حال ، راه حل آن توسط فضای وضعیتی در حال رشد (با توجه به تعداد اسلحه) و فضای عمل ترکیبی مانع می شود و روشهای یادگیری تقویت کننده سنتی را برای موارد در مقیاس بزرگ غیرقابل نفوذ می کند.در این مقاله ، ما Gino-Q را پیشنهاد می کنیم ، یک الگوریتم تقریب تصادفی سه نقطه ای که برای یادگیری یک سیاست شاخص بهینه بهینه برای RMABS طراحی شده است.Gino-Q با تجزیه RMAB در یک سری از زیربناها ، لعنت ابعاد را کاهش می دهد ، هر کدام ابعاد یک بازوی واحد را دارند و اطمینان می دهند که پیچیدگی با تعداد بازوها به صورت خطی افزایش می یابد.بر خلاف الگوریتم های مبتنی بر Wittle-Index که اخیراً توسعه یافته است ، Gino-Q نیازی به RMAB ندارد تا شاخص باشد و انعطاف پذیری و کاربرد آن را افزایش می دهد.نتایج تجربی ما نشان می دهد که Gino-Q به طور مداوم سیاست های تقریباً بهینه را می آموزد ، حتی برای RMAB های غیر ناپذیری که در آن الگوریتم های مبتنی بر شاخص سفید عملکرد ضعیفی دارند ، و این به طور قابل توجهی سریعتر از خطوط اصلی موجود همگرا می شود.