ترجمه فارسی مقاله بکارگیری تکنیک‌های پوشش عمل و یادگیری برنامه درسی برای بهبود کارایی داده و عملکرد کلی در امنیت سایبری فناوری عملیاتی با استفاده از یادگیری تقویتی

چکیده

In previous work, the IPMSRL environment (Integrated Platform Management System Reinforcement Learning environment) was developed with the aim of training defensive RL agents in a simulator representing a subset of an IPMS on a maritime vessel under a cyber-attack. This paper extends the use of IPMSRL to enhance realism including the additional dynamics of false positive alerts and alert delay. Applying curriculum learning, in the most difficult environment tested, resulted in an episode reward mean increasing from a baseline result of -2.791 to -0.569. Applying action masking, in the most difficult environment tested, resulted in an episode reward mean increasing from a baseline result of -2.791 to -0.743. Importantly, this level of performance was reached in less than 1 million timesteps, which was far more data efficient than vanilla PPO which reached a lower level of performance after 2.5 million timesteps. The training method which resulted in the highest level of performance observed in this paper was a combination of the application of curriculum learning and action masking, with a mean episode reward of 0.137. This paper also introduces a basic hardcoded defensive agent encoding a representation of cyber security best practice, which provides context to the episode reward mean figures reached by the RL agents. The hardcoded agent managed an episode reward mean of -1.895. This paper therefore shows that applications of curriculum learning and action masking, both independently and in tandem, present a way to overcome the complex real-world dynamics that are present in operational technology cyber security threat remediation.

چکیده به فارسی (ترجمه ماشینی)

در کار قبلی ، محیط IPMSRL (یکپارچه سازی محیط یادگیری سیستم تقویت سیستم پلت فرم) با هدف آموزش نمایندگان دفاعی RL در یک شبیه ساز که زیر مجموعه ای از IPMS را در یک کشتی دریایی تحت حمله سایبری تهیه می کند ، توسعه داده شد.این مقاله استفاده از IPMSRL را برای تقویت رئالیسم از جمله پویایی اضافی هشدارهای مثبت کاذب و تأخیر هشدار گسترش می دهد.استفاده از یادگیری برنامه درسی ، در سخت ترین محیط آزمایش شده ، منجر به افزایش پاداش قسمت از نتیجه پایه -2.791 به -0.569 شد.استفاده از نقاب عمل ، در سخت ترین محیط آزمایش شده ، منجر به افزایش پاداش قسمت از نتیجه پایه -2.791 به -0.743 شد.مهمتر اینکه ، این سطح از عملکرد در کمتر از 1 میلیون زمان به دست آمد ، که داده های بسیار بیشتری نسبت به PPO وانیل بود که پس از 2.5 میلیون زمان به سطح پایین تری رسید.روش آموزش که منجر به بالاترین سطح عملکرد مشاهده شده در این مقاله شد ، ترکیبی از کاربرد یادگیری برنامه درسی و پوشش عمل بود ، با میانگین پاداش قسمت 0.137.در این مقاله همچنین یک عامل دفاعی سخت رمزگذاری شده با رمزگذاری بهترین روش امنیت سایبری ، که زمینه ای برای قسمت پاداش قسمت میانگین چهره های حاصل از نمایندگان RL را فراهم می کند ، معرفی می کند.نماینده هارد کدگذاری یک قسمت پاداش قسمت -1.895 را مدیریت کرد.بنابراین این مقاله نشان می دهد که کاربردهای یادگیری برنامه درسی و نقاب زدن به عمل ، چه به طور مستقل و چه در پشت سر هم ، راهی برای غلبه بر پویایی پیچیده در دنیای واقعی که در فناوری عملیاتی وجود دارد ، ارائه می دهد.