ترجمه فارسی مقاله The Bandit Whisperer: یادگیری ارتباطات برای راهزنان بی‌قرار

چکیده

Applying Reinforcement Learning (RL) to Restless Multi-Arm Bandits (RMABs) offers a promising avenue for addressing allocation problems with resource constraints and temporal dynamics. However, classic RMAB models largely overlook the challenges of (systematic) data errors – a common occurrence in real-world scenarios due to factors like varying data collection protocols and intentional noise for differential privacy. We demonstrate that conventional RL algorithms used to train RMABs can struggle to perform well in such settings. To solve this problem, we propose the first communication learning approach in RMABs, where we study which arms, when involved in communication, are most effective in mitigating the influence of such systematic data errors. In our setup, the arms receive Q-function parameters from similar arms as messages to guide behavioral policies, steering Q-function updates. We learn communication strategies by considering the joint utility of messages across all pairs of arms and using a Q-network architecture that decomposes the joint utility. Both theoretical and empirical evidence validate the effectiveness of our method in significantly improving RMAB performance across diverse problems.

چکیده به فارسی (ترجمه ماشینی)

استفاده از یادگیری تقویت کننده (RL) در راهزنان چند بازوی بی قرار (RMABS) یک خیابان امیدوارکننده را برای پرداختن به مشکلات تخصیص با محدودیت های منابع و پویایی زمانی ارائه می دهد.با این حال ، مدل های کلاسیک RMAB تا حد زیادی از چالش های خطاهای داده (سیستماتیک) غافل می شوند – یک اتفاق مشترک در سناریوهای دنیای واقعی به دلیل عواملی مانند پروتکل های مختلف جمع آوری داده ها و سر و صدای عمدی برای حفظ حریم خصوصی.ما نشان می دهیم که الگوریتم های معمولی RL که برای آموزش RMAB ها استفاده می شود می توانند در چنین تنظیماتی به خوبی انجام دهند.برای حل این مشکل ، ما اولین رویکرد یادگیری ارتباطی را در RMABS پیشنهاد می کنیم ، جایی که ما مطالعه می کنیم که کدام بازوها ، در هنگام برقراری ارتباط ، در کاهش تأثیر چنین خطاهای داده های سیستماتیک مؤثر هستند.در تنظیم ما ، بازوها پارامترهای عملکرد Q را از اسلحه مشابه به عنوان پیام برای هدایت سیاست های رفتاری ، هدایت به روزرسانی های عملکرد Q دریافت می کنند.ما استراتژی های ارتباطی را با در نظر گرفتن ابزار مشترک پیام ها در همه جفت های اسلحه و استفاده از یک معماری شبکه Q که باعث تجزیه ابزار مشترک می شود ، می آموزیم.هر دو شواهد نظری و تجربی اثربخشی روش ما را در بهبود قابل توجهی عملکرد RMAB در مشکلات متنوع تأیید می کنند.