ترجمه فارسی مقاله در مورد حالت‌های آشفته برای یادگیری تقویتی مقاوم در برابر ورودی تبدیل‌شده

چکیده

Reinforcement Learning (RL) agents demonstrating proficiency in a training environment exhibit vulnerability to adversarial perturbations in input observations during deployment. This underscores the importance of building a robust agent before its real-world deployment. To alleviate the challenging point, prior works focus on developing robust training-based procedures, encompassing efforts to fortify the deep neural network component’s robustness or subject the agent to adversarial training against potent attacks. In this work, we propose a novel method referred to as Transformed Input-robust RL (TIRL), which explores another avenue to mitigate the impact of adversaries by employing input transformation-based defenses. Specifically, we introduce two principles for applying transformation-based defenses in learning robust RL agents: (1) autoencoder-styled denoising to reconstruct the original state and (2) bounded transformations (bit-depth reduction and vector quantization (VQ)) to achieve close transformed inputs. The transformations are applied to the state before feeding it into the policy network. Extensive experiments on multiple MuJoCo environments demonstrate that input transformation-based defenses, i.e., VQ, defend against several adversaries in the state observations. The official code is available at https://github.com/tunglm2203/tirl

چکیده به فارسی (ترجمه ماشینی)

عوامل یادگیری تقویت کننده (RL) که نشان دهنده مهارت در یک محیط آموزشی هستند ، آسیب پذیری در برابر آشفتگی های مخالف در مشاهدات ورودی را در هنگام استقرار نشان می دهند.این امر بر اهمیت ساختن یک عامل قوی قبل از استقرار در دنیای واقعی آن تأکید می کند.برای کاهش نکته چالش برانگیز ، کارهای قبلی بر توسعه رویه های قوی مبتنی بر آموزش تمرکز می کنند ، شامل تلاش هایی برای تقویت استحکام مؤلفه شبکه عصبی عمیق یا قرار دادن نماینده در آموزش های مخالف در برابر حملات قدرتمند است.در این کار ، ما یک روش جدید را پیشنهاد می کنیم که به عنوان RL-Robust-Robust (TIRL) تبدیل شده است ، که به بررسی راه دیگری برای کاهش تأثیر مخالفان با استفاده از دفاع های مبتنی بر تحول ورودی می پردازد.به طور خاص ، ما دو اصل را برای استفاده از دفاع های مبتنی بر تحول در یادگیری عوامل RL قوی معرفی می کنیم: (1) Denoising به سبک Autoencoder برای بازسازی حالت اصلی و (2) تحولات محدود (کاهش عمق بیت و کمیت بردار) (VQ))ورودی های تبدیل شده را ببندید.قبل از تغذیه آن به شبکه خط مشی ، تحولات به دولت اعمال می شود.آزمایش های گسترده در چندین محیط Mujoco نشان می دهد که دفاع های مبتنی بر تحول ورودی ، یعنی VQ ، در برابر چندین مخالف در مشاهدات ایالتی دفاع می کنند.کد رسمی در https://github.com/tunglm2203/tirl در دسترس است