مقاله CycLight: یادگیری همکاری سیگنال ترافیک با یک استراتژی در سطح چرخه

چکیده

This study introduces CycLight, a novel cycle-level deep reinforcement learning (RL) approach for network-level adaptive traffic signal control (NATSC) systems. Unlike most traditional RL-based traffic controllers that focus on step-by-step decision making, CycLight adopts a cycle-level strategy, optimizing cycle length and splits simultaneously using Parameterized Deep Q-Networks (PDQN) algorithm. This cycle-level approach effectively reduces the computational burden associated with frequent data communication, meanwhile enhancing the practicality and safety of real-world applications. A decentralized framework is formulated for multi-agent cooperation, while attention mechanism is integrated to accurately assess the impact of the surroundings on the current intersection. CycLight is tested in a large synthetic traffic grid using the microscopic traffic simulation tool, SUMO. Experimental results not only demonstrate the superiority of CycLight over other state-of-the-art approaches but also showcase its robustness against information transmission delays.

چکیده به فارسی (ترجمه ماشینی)

این مطالعه Cyclight ، یک رویکرد یادگیری تقویت عمیق در سطح چرخه (RL) برای سیستم های کنترل سیگنال ترافیک تطبیقی در سطح شبکه (NATSC) را معرفی می کند.بر خلاف اکثر کنترل کننده های ترافیک سنتی مبتنی بر RL که روی تصمیم گیری گام به گام تمرکز دارند ، Cyclight یک استراتژی سطح چرخه را اتخاذ می کند ، طول چرخه را بهینه می کند و همزمان با استفاده از الگوریتم پارامتری Q-Networks (PDQN) تقسیم می شود.این رویکرد سطح چرخه به طور موثری بار محاسباتی مرتبط با ارتباطات مکرر داده ها را کاهش می دهد ، در عین حال باعث افزایش عملی و ایمنی برنامه های دنیای واقعی می شود.یک چارچوب غیرمتمرکز برای همکاری های چند عامل تدوین شده است ، در حالی که مکانیسم توجه برای ارزیابی دقیق تأثیر محیط اطراف در تقاطع فعلی یکپارچه شده است.Cyclight با استفاده از ابزار شبیه سازی ترافیک میکروسکوپی ، SUMO در یک شبکه ترافیک مصنوعی بزرگ آزمایش می شود.نتایج تجربی نه تنها برتری چرخه نسبت به سایر رویکردهای پیشرفته را نشان می دهد بلکه استحکام آن را در برابر تاخیر در انتقال اطلاعات نشان می دهد.