ترجمه فارسی مقاله ارزیابی تجربی یادگیری تقویت آفلاین برای کنترل HVAC در ساختمانها

چکیده

Reinforcement learning (RL) techniques have been increasingly investigated for dynamic HVAC control in buildings. However, most studies focus on exploring solutions in online or off-policy scenarios without discussing in detail the implementation feasibility or effectiveness of dealing with purely offline datasets or trajectories. The lack of these works limits the real-world deployment of RL-based HVAC controllers, especially considering the abundance of historical data. To this end, this paper comprehensively evaluates the strengths and limitations of state-of-the-art offline RL algorithms by conducting analytical and numerical studies. The analysis is conducted from two perspectives: algorithms and dataset characteristics. As a prerequisite, the necessity of applying offline RL algorithms is first confirmed in two building environments. The ability of observation history modeling to reduce violations and enhance performance is subsequently studied. Next, the performance of RL-based controllers under datasets with different qualitative and quantitative conditions is investigated, including constraint satisfaction and power consumption. Finally, the sensitivity of certain hyperparameters is also evaluated. The results indicate that datasets of a certain suboptimality level and relatively small scale can be utilized to effectively train a well-performed RL-based HVAC controller. Specifically, such controllers can reduce at most 28.5% violation ratios of indoor temperatures and achieve at most 12.1% power savings compared to the baseline controller. In summary, this paper presents our well-structured investigations and new findings when applying offline reinforcement learning to building HVAC systems.

چکیده به فارسی (ترجمه ماشینی)

تکنیک های یادگیری تقویت (RL) به طور فزاینده ای برای کنترل HVAC پویا در ساختمانها مورد بررسی قرار گرفته است.با این حال ، بیشتر مطالعات بر کاوش در مورد راه حل ها در سناریوهای آنلاین یا خارج از سیاست بدون بحث در مورد تفصیل در مورد امکان سنجی اجرای یا اثربخشی برخورد با مجموعه داده ها یا مسیرهای صرفاً آفلاین متمرکز شده اند.فقدان این آثار ، استقرار در دنیای واقعی کنترل کننده های HVAC مبتنی بر RL ، به ویژه با توجه به فراوانی داده های تاریخی را محدود می کند.برای این منظور ، این مقاله به طور جامع نقاط قوت و محدودیت های الگوریتم های RL آفلاین پیشرفته را با انجام مطالعات تحلیلی و عددی ارزیابی می کند.تجزیه و تحلیل از دو منظر انجام شده است: الگوریتم ها و ویژگی های مجموعه داده.به عنوان یک پیش نیاز ، ضرورت استفاده از الگوریتم های RL آفلاین برای اولین بار در دو محیط ساختمان تأیید می شود.توانایی مدل سازی تاریخ مشاهده برای کاهش تخلفات و افزایش عملکرد متعاقباً مورد مطالعه قرار می گیرد.در مرحله بعد ، عملکرد کنترل کننده های مبتنی بر RL تحت مجموعه داده ها با شرایط کیفی و کمی مختلف مورد بررسی قرار می گیرد ، از جمله رضایت محدودیت و مصرف برق.سرانجام ، حساسیت برخی از هایپرپارامترها نیز ارزیابی می شود.نتایج نشان می دهد که مجموعه داده های یک سطح زیرنویس خاص و مقیاس نسبتاً کوچک می تواند برای آموزش مؤثر یک کنترلر HVAC مبتنی بر RL به خوبی عملکردی استفاده شود.به طور خاص ، چنین کنترل کننده هایی می توانند حداکثر 28.5 ٪ نسبت تخلف از دمای داخلی را کاهش داده و حداکثر 12.1 ٪ صرفه جویی در مصرف انرژی را در مقایسه با کنترل کننده پایه بدست آورند.به طور خلاصه ، این مقاله تحقیقات و یافته های جدید ما را هنگام استفاده از یادگیری آرماتور آفلاین در ساخت سیستم های HVAC ارائه می دهد.