ترجمه فارسی مقاله خودکارسازی برنامه‌ریزی درمان پروتون PBS برای سرطان‌های سر و گردن با استفاده از یادگیری تقویتی عمیق مبتنی بر گرادیان

چکیده

Proton pencil beam scanning (PBS) treatment planning for head and neck (H&N) cancers is a time-consuming and experience-demanding task where a large number of planning objectives are involved. Deep reinforcement learning (DRL) has recently been introduced to the planning processes of intensity-modulated radiation therapy and brachytherapy for prostate, lung, and cervical cancers. However, existing approaches are built upon the Q-learning framework and weighted linear combinations of clinical metrics, suffering from poor scalability and flexibility and only capable of adjusting a limited number of planning objectives in discrete action spaces. We propose an automatic treatment planning model using the proximal policy optimization (PPO) algorithm and a dose distribution-based reward function for proton PBS treatment planning of H&N cancers. Specifically, a set of empirical rules is used to create auxiliary planning structures from target volumes and organs-at-risk (OARs), along with their associated planning objectives. These planning objectives are fed into an in-house optimization engine to generate the spot monitor unit (MU) values. A decision-making policy network trained using PPO is developed to iteratively adjust the involved planning objective parameters in a continuous action space and refine the PBS treatment plans using a novel dose distribution-based reward function. Proton H&N treatment plans generated by the model show improved OAR sparing with equal or superior target coverage when compared with human-generated plans. Moreover, additional experiments on liver cancer demonstrate that the proposed method can be successfully generalized to other treatment sites. To the best of our knowledge, this is the first DRL-based automatic treatment planning model capable of achieving human-level performance for H&N cancers.

چکیده به فارسی (ترجمه ماشینی)

برنامه ریزی درمانی پرتوهای پروتون (PBS) برنامه ریزی برای سرطان های سر و گردن (H&N) یک کار وقت گیر و تقاضا است که در آن تعداد زیادی از اهداف برنامه ریزی درگیر هستند.یادگیری تقویت عمیق (DRL) اخیراً به فرآیندهای برنامه ریزی پرتودرمانی با شدت تعدیل شده و براکی تراپی برای سرطان های پروستات ، ریه و دهانه رحم معرفی شده است.با این حال ، رویکردهای موجود بر روی چارچوب یادگیری Q و ترکیب های خطی وزنی معیارهای بالینی ساخته شده است ، از مقیاس پذیری و انعطاف پذیری ضعیف رنج می برد و تنها قادر به تنظیم تعداد محدودی از اهداف برنامه ریزی در فضاهای عمل گسسته است.ما یک مدل برنامه ریزی درمانی خودکار را با استفاده از الگوریتم بهینه سازی سیاست پروگزیمال (PPO) و یک عملکرد پاداش توزیع مبتنی بر دوز برای برنامه ریزی درمان PBS PBS از سرطانهای H&N پیشنهاد می کنیم.به طور خاص ، مجموعه ای از قوانین تجربی برای ایجاد ساختارهای برنامه ریزی کمکی از حجم هدف و اندام های خطرناک (OARS) ، به همراه اهداف برنامه ریزی مرتبط با آنها استفاده می شود.این اهداف برنامه ریزی در یک موتور بهینه سازی داخلی برای تولید مقادیر واحد مانیتور نقطه (MU) تغذیه می شوند.یک شبکه خط مشی تصمیم گیری که با استفاده از PPO آموزش داده می شود تا به طور تکراری پارامترهای هدفمند برنامه ریزی درگیر را در یک فضای اقدام مداوم تنظیم کرده و برنامه های درمانی PBS را با استفاده از یک عملکرد پاداش مبتنی بر توزیع دوز جدید تصحیح کند.برنامه های درمانی پروتون H&N تولید شده توسط این مدل نشان می دهد که در مقایسه با برنامه های تولید شده توسط انسان ، دور شدن OAR را با پوشش هدف مساوی یا برتر بهبود می بخشد.علاوه بر این ، آزمایش های اضافی در مورد سرطان کبد نشان می دهد که روش پیشنهادی را می توان با موفقیت در سایر مکانهای درمانی تعمیم داد.به بهترین دانش ما ، این اولین مدل برنامه ریزی خودکار درمانی مبتنی بر DRL است که قادر به دستیابی به عملکرد سطح انسانی برای سرطانهای H&N است.