ترجمه فارسی مقاله پر کردن و ریختن: روش‌های گرادیان سیاست یادگیری تقویتی عمیق برای تصمیم‌گیری و کنترل عملیات مخزن

چکیده

Changes in demand, various hydrological inputs, and environmental stressors are among the issues that water managers and policymakers face on a regular basis. These concerns have sparked interest in applying different techniques to determine reservoir operation policy decisions. As the resolution of the analysis increases, it becomes more difficult to effectively represent a real-world system using traditional methods such as Dynamic Programming (DP) and Stochastic Dynamic Programming (SDP) for determining the best reservoir operation policy. One of the challenges is the “curse of dimensionality,” which means the number of samples needed to estimate an arbitrary function with a given level of accuracy grows exponentially with respect to the number of input variables (i.e., dimensionality) of the function. Deep Reinforcement Learning (DRL) is an intelligent approach to overcome the curses of stochastic optimization problems for reservoir operation policy decisions. To our knowledge, this study is the first attempt that examine various novel DRL continuous-action policy gradient methods (PGMs), including Deep Deterministic Policy Gradients (DDPG), Twin Delayed DDPG (TD3), and two different versions of Soft Actor-Critic (SAC18 and SAC19) for optimizing reservoir operation policy. In this study, multiple DRL techniques were implemented in order to find the optimal operation policy of Folsom Reservoir in California, USA. The reservoir system supplies agricultural, municipal, hydropower, and environmental flow demands and flood control operations to the City of Sacramento. Analysis suggests that the TD3 and SAC are robust to meet the Folsom Reservoir’s demands and optimize reservoir operation policies.

چکیده به فارسی (ترجمه ماشینی)

تغییر در تقاضا ، ورودی های مختلف هیدرولوژیکی و استرس زا محیط زیست از جمله مواردی است که مدیران آب و سیاست گذاران به طور مرتب با آن روبرو هستند.این نگرانی ها باعث شده است تا به استفاده از تکنیک های مختلف برای تعیین تصمیمات سیاست عملکرد مخزن تبدیل شود.با افزایش وضوح تجزیه و تحلیل ، ارائه مؤثر یک سیستم در دنیای واقعی با استفاده از روش های سنتی مانند برنامه نویسی پویا (DP) و برنامه نویسی پویا تصادفی (SDP) برای تعیین بهترین سیاست عملکرد مخزن دشوارتر می شود.یکی از چالش ها “نفرین ابعاد” است ، به این معنی که تعداد نمونه های مورد نیاز برای برآورد یک عملکرد دلخواه با یک سطح معین از دقت با توجه به تعداد متغیرهای ورودی (یعنی ابعاد) عملکرد به صورت تصاعدی رشد می کند.یادگیری تقویت عمیق (DRL) یک رویکرد هوشمندانه برای غلبه بر لعنت های مشکلات بهینه سازی تصادفی برای تصمیمات سیاست عملکرد مخزن است.به دانش ما ، این مطالعه اولین تلاشی است که روشهای مختلف شیب سیاست مداوم DRL را بررسی می کند (PGM) ، از جمله شیب سیاست های تعیین کننده عمیق (DDPG) ، DDPG با تأخیر دوقلوی (TD3) و دو نسخه مختلف از بازیگر نرم و انتقادی بازیگر نرم(SAC18 و SAC19) برای بهینه سازی سیاست عملکرد مخزن.در این مطالعه ، چند تکنیک DRL به منظور یافتن سیاست عملکرد بهینه مخزن Folsom در کالیفرنیا ، ایالات متحده آمریکا اجرا شد.سیستم مخزن نیازهای جریان کشاورزی ، شهرداری ، نیروگاه و محیط زیست و عملیات کنترل سیل را به شهر ساکرامنتو تأمین می کند.تجزیه و تحلیل نشان می دهد که TD3 و SAC برای پاسخگویی به خواسته های مخزن Folsom و بهینه سازی سیاست های عملکرد مخزن قوی هستند.