ترجمه فارسی مقاله SIGMARL: یک چارچوب یادگیری تقویت کننده چند عامل نمونه و کارآمد برای برنامه ریزی حرکت

چکیده

This paper introduces an open-source, decentralized framework named SigmaRL, designed to enhance both sample efficiency and generalization of multi-agent Reinforcement Learning (RL) for motion planning of connected and automated vehicles. Most RL agents exhibit a limited capacity to generalize, often focusing narrowly on specific scenarios, and are usually evaluated in similar or even the same scenarios seen during training. Various methods have been proposed to address these challenges, including experience replay and regularization. However, how observation design in RL affects sample efficiency and generalization remains an under-explored area. We address this gap by proposing five strategies to design information-dense observations, focusing on general features that are applicable to most traffic scenarios. We train our RL agents using these strategies on an intersection and evaluate their generalization through numerical experiments across completely unseen traffic scenarios, including a new intersection, an on-ramp, and a roundabout. Incorporating these information-dense observations reduces training times to under one hour on a single CPU, and the evaluation results reveal that our RL agents can effectively zero-shot generalize. Code: github.com/cas-lab-munich/SigmaRL

چکیده به فارسی (ترجمه ماشینی)

در این مقاله یک چارچوب منبع باز و غیرمتمرکز به نام Sigmarl ، طراحی شده است که برای تقویت هر دو نمونه و تعمیم یادگیری تقویت کننده چند عامل (RL) برای برنامه ریزی حرکت وسایل نقلیه متصل و خودکار طراحی شده است.بیشتر عوامل RL ظرفیت محدودی برای تعمیم دارند ، که اغلب به سناریوهای خاص متمرکز می شوند و معمولاً در سناریوهای مشابه یا حتی یکسان مشاهده می شوند که در طول آموزش مشاهده می شود.روشهای مختلفی برای رفع این چالش ها از جمله پخش مجدد تجربه و تنظیم مجدد ارائه شده است.با این حال ، چگونگی طراحی مشاهده در RL بر کارایی و تعمیم نمونه تأثیر می گذارد ، یک منطقه تحت تأثیر باقی مانده است.ما با پیشنهاد پنج استراتژی برای طراحی مشاهدات متراکم اطلاعات ، با تمرکز بر ویژگی های کلی که در اکثر سناریوهای ترافیک قابل استفاده است ، به این شکاف می پردازیم.ما عوامل RL خود را با استفاده از این استراتژی ها در یک تقاطع آموزش می دهیم و تعمیم آنها را از طریق آزمایش های عددی در سناریوهای ترافیکی کاملاً غیب ، از جمله تقاطع جدید ، یک سطح شیب دار و یک دورگرد ارزیابی می کنیم.ترکیب این مشاهدات متراکم اطلاعات ، زمان آموزش را به کمتر از یک ساعت در یک پردازنده واحد کاهش می دهد ، و نتایج ارزیابی نشان می دهد که عوامل RL ما می توانند به طور موثر صفر را تعمیم دهند.کد: github.com/cas-lab-munich/sigmarl