ترجمه فارسی مقاله ارزیابی چند عاملی با بهبود کیفیت سرویس برای به‌روزرسانی نقشه‌های HD در شبکه وسایل نقلیه

چکیده

Reinforcement Learning (RL) algorithms have been used to address the challenging problems in the offloading process of vehicular ad hoc networks (VANET). More recently, they have been utilized to improve the dissemination of high-definition (HD) Maps. Nevertheless, implementing solutions such as deep Q-learning (DQN) and Actor-critic at the autonomous vehicle (AV) may lead to an increase in the computational load, causing a heavy burden on the computational devices and higher costs. Moreover, their implementation might raise compatibility issues between technologies due to the required modifications to the standards. Therefore, in this paper, we assess the scalability of an application utilizing a Q-learning single-agent solution in a distributed multi-agent environment. This application improves the network performance by taking advantage of a smaller state, and action space whilst using a multi-agent approach. The proposed solution is extensively evaluated with different test cases involving reward function considering individual or overall network performance, number of agents, and centralized and distributed learning comparison. The experimental results demonstrate that the time latencies of our proposed solution conducted in voice, video, HD Map, and best-effort cases have significant improvements, with 40.4%, 36%, 43%, and 12% respectively, compared to the performances with the single-agent approach.

چکیده به فارسی (ترجمه ماشینی)

الگوریتم های یادگیری تقویت کننده (RL) برای رفع مشکلات چالش برانگیز در فرآیند بارگیری شبکه های موقت وسایل نقلیه (VANET) استفاده شده است.اخیراً ، از آنها برای بهبود انتشار نقشه های با کیفیت بالا (HD) استفاده شده است.با این وجود ، اجرای راه حل هایی مانند یادگیری عمیق Q (DQN) و بازیگر-انتقادی در وسیله نقلیه خودمختار (AV) ممکن است منجر به افزایش بار محاسباتی شود و باعث بار سنگین دستگاه های محاسباتی و هزینه های بالاتر شود.علاوه بر این ، اجرای آنها ممکن است به دلیل اصلاحات مورد نیاز در استانداردها ، مسائل سازگاری بین فناوری ها را ایجاد کند.بنابراین ، در این مقاله ، ما مقیاس پذیری یک برنامه را با استفاده از یک راه حل تک عامل Q-Learning در یک محیط چند عامل توزیع شده ارزیابی می کنیم.این برنامه با استفاده از یک حالت کوچکتر و فضای عمل در ضمن استفاده از یک رویکرد چند عامل ، عملکرد شبکه را بهبود می بخشد.راه حل پیشنهادی با موارد مختلف آزمون شامل عملکرد پاداش با توجه به عملکرد فردی یا کلی شبکه ، تعداد عوامل و مقایسه یادگیری متمرکز و توزیع شده به طور گسترده ارزیابی می شود.نتایج تجربی نشان می دهد که زمان تأخیر زمان راه حل پیشنهادی ما در موارد صوتی ، فیلم ، نقشه HD و بهترین موارد دارای پیشرفت های قابل توجهی ، با 40.4 ٪ ، 36 ٪ ، 43 ٪ و 12 ٪ ، در مقایسه با عملکردهای همراهرویکرد تک عامل.