ترجمه فارسی مقاله برنامه‌ریزی تطبیقی ​​با مدل‌های مولد تحت شرایط عدم قطعیت

چکیده

Planning with generative models has emerged as an effective decision-making paradigm across a wide range of domains, including reinforcement learning and autonomous navigation. While continuous replanning at each timestep might seem intuitive because it allows decisions to be made based on the most recent environmental observations, it results in substantial computational challenges, primarily due to the complexity of the generative model’s underlying deep learning architecture. Our work addresses this challenge by introducing a simple adaptive planning policy that leverages the generative model’s ability to predict long-horizon state trajectories, enabling the execution of multiple actions consecutively without the need for immediate replanning. We propose to use the predictive uncertainty derived from a Deep Ensemble of inverse dynamics models to dynamically adjust the intervals between planning sessions. In our experiments conducted on locomotion tasks within the OpenAI Gym framework, we demonstrate that our adaptive planning policy allows for a reduction in replanning frequency to only about 10% of the steps without compromising the performance. Our results underscore the potential of generative modeling as an efficient and effective tool for decision-making.

چکیده به فارسی (ترجمه ماشینی)

برنامه ریزی با مدلهای تولیدی به عنوان یک الگوی تصمیم گیری مؤثر در طیف گسترده ای از دامنه ها ، از جمله یادگیری تقویت و ناوبری خودمختار ظاهر شده است.در حالی که تغییر مداوم در هر زمان ممکن است بصری به نظر برسد زیرا این امکان را می دهد که بر اساس جدیدترین مشاهدات محیطی تصمیم گیری شود ، منجر به چالش های محاسباتی قابل توجهی می شود ، در درجه اول به دلیل پیچیدگی معماری یادگیری عمیق مدل تولیدی.کار ما با معرفی یک سیاست برنامه ریزی تطبیقی ​​ساده که از توانایی مدل تولیدی در پیش بینی مسیرهای دولت طولانی افکار استفاده می کند ، به این چالش می پردازد و امکان اجرای چندین اقدام به طور متوالی و بدون نیاز به جایگزینی فوری را فراهم می کند.ما پیشنهاد می کنیم از عدم اطمینان پیش بینی شده از یک گروه عمیق از مدلهای دینامیک معکوس استفاده کنیم تا به صورت پویا فواصل بین جلسات برنامه ریزی را تنظیم کنیم.در آزمایشات ما که بر روی کارهای حرکتی در چارچوب سالن بدنسازی OpenAI انجام شده است ، ما نشان می دهیم که سیاست برنامه ریزی تطبیقی ​​ما امکان کاهش فرکانس جایگزین کردن را فقط در حدود 10 ٪ از مراحل بدون به خطر انداختن عملکرد فراهم می کند.نتایج ما پتانسیل مدل سازی تولیدی را به عنوان ابزاری کارآمد و مؤثر برای تصمیم گیری تأکید می کند.