مقاله مسیریابی پویا برای شبکه های ماهواره ای یکپارچه: یک رویکرد یادگیری تقویتی چند عامل محدود

چکیده

The integrated satellite-terrestrial network (ISTN) system has experienced significant growth, offering seamless communication services in remote areas with limited terrestrial infrastructure. However, designing a routing scheme for ISTN is exceedingly difficult, primarily due to the heightened complexity resulting from the inclusion of additional ground stations, along with the requirement to satisfy various constraints related to satellite service quality. To address these challenges, we study packet routing with ground stations and satellites working jointly to transmit packets, while prioritizing fast communication and meeting energy efficiency and packet loss requirements. Specifically, we formulate the problem of packet routing with constraints as a max-min problem using the Lagrange method. Then we propose a novel constrained Multi-Agent reinforcement learning (MARL) dynamic routing algorithm named CMADR, which efficiently balances objective improvement and constraint satisfaction during the updating of policy and Lagrange multipliers. Finally, we conduct extensive experiments and an ablation study using the OneWeb and Telesat mega-constellations. Results demonstrate that CMADR reduces the packet delay by a minimum of 21% and 15%, while meeting stringent energy consumption and packet loss rate constraints, outperforming several baseline algorithms.

چکیده به فارسی (ترجمه ماشینی)

سیستم یکپارچه شبکه ماهواره ای (ISTN) رشد قابل توجهی را تجربه کرده است و خدمات ارتباطی یکپارچه را در مناطق دور افتاده با زیرساخت های زمینی محدود ارائه می دهد.با این حال ، طراحی یک طرح مسیریابی برای ISTN بسیار دشوار است ، در درجه اول به دلیل افزایش پیچیدگی ناشی از درج ایستگاه های زمینی اضافی ، همراه با الزام به برآورده کردن محدودیت های مختلف مربوط به کیفیت خدمات ماهواره ای.برای پرداختن به این چالش ها ، ما مسیریابی بسته را با ایستگاه های زمینی و ماهواره هایی که به طور مشترک برای انتقال بسته ها کار می کنند ، مطالعه می کنیم ، ضمن اینکه اولویت بندی ارتباطات سریع و برآورده کردن بهره وری انرژی و نیازهای از دست دادن بسته ها است.به طور خاص ، ما مشکل مسیریابی بسته را با محدودیت ها به عنوان یک مشکل حداکثر دقیقه با استفاده از روش Lagrange تدوین می کنیم.سپس ما یک الگوریتم مسیریابی پویا (MARL) یادگیری تقویت کننده چند عامل (MARL) به نام CMADR را پیشنهاد می کنیم ، که به طور موثر باعث بهبود عینی و رضایت محدودیت در هنگام به روزرسانی سیاست و ضربهای Lagrange می شود.سرانجام ، ما آزمایش های گسترده ای و یک مطالعه فرسایش را با استفاده از مگس های مگا و Telesat انجام می دهیم.نتایج نشان می دهد که CMADR تاخیر بسته را با حداقل 21 ٪ و 15 ٪ کاهش می دهد ، در حالی که با محدودیت های دقیق مصرف انرژی و میزان از دست دادن بسته ، از چندین الگوریتم پایه استفاده می کند.