ترجمه فارسی مقاله یادگیری تقویتی چند عاملی برای کنترل همرفت ریلی-بنارد سه‌بعدی

چکیده

Deep reinforcement learning (DRL) has found application in numerous use-cases pertaining to flow control. Multi-agent RL (MARL), a variant of DRL, has shown to be more effective than single-agent RL in controlling flows exhibiting locality and translational invariance. We present, for the first time, an implementation of MARL-based control of three-dimensional Rayleigh-Bénard convection (RBC). Control is executed by modifying the temperature distribution along the bottom wall divided into multiple control segments, each of which acts as an independent agent. Two regimes of RBC are considered at Rayleigh numbers $mathrm{Ra}=500$ and $750$. Evaluation of the learned control policy reveals a reduction in convection intensity by $23.5%$ and $8.7%$ at $mathrm{Ra}=500$ and $750$, respectively. The MARL controller converts irregularly shaped convective patterns to regular straight rolls with lower convection that resemble flow in a relatively more stable regime. We draw comparisons with proportional control at both $mathrm{Ra}$ and show that MARL is able to outperform the proportional controller. The learned control strategy is complex, featuring different non-linear segment-wise actuator delays and actuation magnitudes. We also perform successful evaluations on a larger domain than used for training, demonstrating that the invariant property of MARL allows direct transfer of the learnt policy.

چکیده به فارسی (ترجمه ماشینی)

یادگیری عمیق تقویت (DRL) در موارد استفاده متعددی که مربوط به کنترل جریان است ، کاربردی پیدا کرده است.چند عامل RL (MARL) ، نوع DRL ، در کنترل جریان های محلی و عدم تغییر ترجمه ، مؤثرتر از RL تک عامل است.ما برای اولین بار اجرای کنترل مبتنی بر مارل از همرفت سه بعدی ریلی-بنارد (RBC) را ارائه می دهیم.کنترل با اصلاح توزیع دما در امتداد دیوار پایین به بخش های کنترل چندگانه تقسیم می شود که هر یک به عنوان یک عامل مستقل عمل می کنند.دو رژیم RBC در شماره های Rayleigh $ Mathrm {ra} = 500 $ و 750 $ در نظر گرفته شده است.ارزیابی خط مشی کنترل آموخته شده به ترتیب کاهش شدت همرفت را با 23.5 $ $ $ و 8.7 $ $ در $ Mathrm {ra} = 500 $ و 750 $ نشان می دهد.کنترلر MARL الگوهای همرفتی شکل نامنظم را به رول های مستقیم منظم با همرفت پایین تر تبدیل می کند که شبیه به جریان در یک رژیم نسبتاً پایدار است.ما مقایسه هایی را با کنترل متناسب در هر دو $ mathrm {ra} $ انجام می دهیم و نشان می دهیم که مارل قادر به بهتر از کنترلر متناسب است.استراتژی کنترل آموخته شده پیچیده است و شامل تأخیرهای مختلف محرک غیر خطی و دارای تأخیرهای مختلف و بزرگی فعالیت است.ما همچنین ارزیابی های موفقی را در یک دامنه بزرگتر از آنچه برای آموزش استفاده می شود انجام می دهیم ، نشان می دهد که خاصیت ثابت مارل امکان انتقال مستقیم خط مشی آموخته شده را فراهم می کند.