ترجمه فارسی مقاله نزول نیمه شیب تصادفی برای یادگیری بازی های میدانی متوسط ​​با تقریب تابع آگاه از جمعیت

چکیده

Mean field games (MFGs) model the interactions within a large-population multi-agent system using the population distribution. Traditional learning methods for MFGs are based on fixed-point iteration (FPI), which calculates best responses and induced population distribution separately and sequentially. However, FPI-type methods suffer from inefficiency and instability, due to oscillations caused by the forward-backward procedure. This paper considers an online learning method for MFGs, where an agent updates its policy and population estimates simultaneously and fully asynchronously, resulting in a simple stochastic gradient descent (SGD) type method called SemiSGD. Not only does SemiSGD exhibit numerical stability and efficiency, but it also provides a novel perspective by treating the value function and population distribution as a unified parameter. We theoretically show that SemiSGD directs this unified parameter along a descent direction to the mean field equilibrium. Motivated by this perspective, we develop a linear function approximation (LFA) for both the value function and the population distribution, resulting in the first population-aware LFA for MFGs on continuous state-action space. Finite-time convergence and approximation error analysis are provided for SemiSGD equipped with population-aware LFA.

چکیده به فارسی (ترجمه ماشینی)

میانگین بازی های میدانی (MFG) تعامل را در یک سیستم چند عامل جمعیت با استفاده از توزیع جمعیت مدل می کند.روشهای یادگیری سنتی برای MFG ها بر اساس تکرار نقطه ثابت (FPI) است که بهترین پاسخ ها را محاسبه می کند و توزیع جمعیت را به طور جداگانه و متوالی القا می کند.با این حال ، روش های نوع FPI به دلیل نوسانات ناشی از روش رو به جلو ، از ناکارآمدی و ناپایداری رنج می برند.در این مقاله یک روش یادگیری آنلاین برای MFG ها در نظر گرفته شده است ، جایی که یک عامل سیاست خود را به روز می کند و جمعیت را به طور همزمان و کاملاً ناهمزمان تخمین می زند ، و در نتیجه یک روش نوع شیب تصادفی ساده (SGD) به نام SEMISGD ایجاد می شود.نه تنها SEMISGD ثبات و کارآیی عددی را نشان می دهد ، بلکه با درمان عملکرد ارزش و توزیع جمعیت به عنوان یک پارامتر یکپارچه ، یک چشم انداز جدید را نیز فراهم می کند.ما از لحاظ تئوریکی نشان می دهیم که SEMISGD این پارامتر یکپارچه را در طول جهت نزول به میانگین تعادل میدان هدایت می کند.با انگیزه از این دیدگاه ، ما یک عملکرد خطی (LFA) را برای عملکرد ارزش و توزیع جمعیت ایجاد می کنیم ، و در نتیجه اولین LFA آگاه از جمعیت برای MFG در فضای مداوم دولت است.همگرایی زمان محدود و تجزیه و تحلیل خطای تقریب برای نیمه نیمه مجهز به LFA آگاه از جمعیت ارائه شده است.