ترجمه فارسی مقاله آموزش GFlowNet توسط گرادیان‌های سیاست

چکیده

Generative Flow Networks (GFlowNets) have been shown effective to generate combinatorial objects with desired properties. We here propose a new GFlowNet training framework, with policy-dependent rewards, that bridges keeping flow balance of GFlowNets to optimizing the expected accumulated reward in traditional Reinforcement-Learning (RL). This enables the derivation of new policy-based GFlowNet training methods, in contrast to existing ones resembling value-based RL. It is known that the design of backward policies in GFlowNet training affects efficiency. We further develop a coupled training strategy that jointly solves GFlowNet forward policy training and backward policy design. Performance analysis is provided with a theoretical guarantee of our policy-based GFlowNet training. Experiments on both simulated and real-world datasets verify that our policy-based strategies provide advanced RL perspectives for robust gradient estimation to improve GFlowNet performance.

چکیده به فارسی (ترجمه ماشینی)

شبکه های جریان تولیدی (Gflownets) برای تولید اشیاء ترکیبی با خصوصیات مورد نظر مؤثر است.ما در اینجا یک چارچوب جدید آموزش Gflownet ، با پاداش های وابسته به سیاست ، پیشنهاد می کنیم که پل هایی که تعادل جریان Gflownets را برای بهینه سازی پاداش انباشته شده مورد انتظار در یادگیری تقویت سنتی (RL) نگه می دارند.این امر باعث می شود تا بر خلاف موارد موجود که شبیه RL مبتنی بر ارزش است ، مشتق روشهای جدید آموزش Gflownet مبتنی بر سیاست را امکان پذیر کند.مشخص است که طراحی سیاست های عقب مانده در آموزش Gflownet بر کارآیی تأثیر می گذارد.ما همچنین یک استراتژی آموزشی همراه را تدوین می کنیم که به طور مشترک آموزش سیاست Gflownet Forward و طراحی سیاست عقب مانده را حل می کند.تجزیه و تحلیل عملکرد با ضمانت نظری آموزش Gflownet مبتنی بر سیاست ما ارائه شده است.آزمایشات در هر دو مجموعه داده شبیه سازی شده و در دنیای واقعی تأیید می کند که استراتژی های مبتنی بر سیاست ما چشم اندازهای پیشرفته RL را برای برآورد شیب قوی برای بهبود عملکرد Gflownet فراهم می کند.