ترجمه فارسی مقاله راهنمای بدون مشتق در مدل‌های انتشار پیوسته و گسسته با رمزگشایی مبتنی بر ارزش نرم

چکیده

Diffusion models excel at capturing the natural design spaces of images, molecules, DNA, RNA, and protein sequences. However, rather than merely generating designs that are natural, we often aim to optimize downstream reward functions while preserving the naturalness of these design spaces. Existing methods for achieving this goal often require “differentiable” proxy models (\textit{e.g.}, classifier guidance or DPS) or involve computationally expensive fine-tuning of diffusion models (\textit{e.g.}, classifier-free guidance, RL-based fine-tuning). In our work, we propose a new method to address these challenges. Our algorithm is an iterative sampling method that integrates soft value functions, which looks ahead to how intermediate noisy states lead to high rewards in the future, into the standard inference procedure of pre-trained diffusion models. Notably, our approach avoids fine-tuning generative models and eliminates the need to construct differentiable models. This enables us to (1) directly utilize non-differentiable features/reward feedback, commonly used in many scientific domains, and (2) apply our method to recent discrete diffusion models in a principled way. Finally, we demonstrate the effectiveness of our algorithm across several domains, including image generation, molecule generation, and DNA/RNA sequence generation. The code is available at \href{https://github.com/masa-ue/SVDD}{https://github.com/masa-ue/SVDD}.

چکیده به فارسی (ترجمه ماشینی)

مدل های انتشار در ضبط فضاهای طراحی طبیعی تصاویر ، مولکول ها ، DNA ، RNA و توالی پروتئین برتری دارند.با این حال ، ما به جای ایجاد طرح های طبیعی ، اغلب هدف ما بهینه سازی عملکردهای پاداش پایین دست ضمن حفظ طبیعی بودن این فضاهای طراحی است.روشهای موجود برای دستیابی به این هدف اغلب به مدل های پروکسی “` `متفاوت” (\ textit {به عنوان مثال} ، راهنمایی طبقه بندی کننده یا DPS) نیاز دارند یا شامل تنظیم دقیق محاسباتی مدل های انتشار (\ textit {به عنوان مثال} ، راهنمایی بدون طبقه بندی ، RLتنظیم دقیق).در کار خود ، ما یک روش جدید برای رفع این چالش ها پیشنهاد می کنیم.الگوریتم ما یک روش نمونه برداری تکراری است که توابع ارزش نرم را ادغام می کند ، که به آینده می پردازد که چگونه حالات پر سر و صدا در آینده منجر به پاداش زیاد در آینده می شود ، به روش استنباط استاندارد مدل های انتشار از پیش آموزش داده می شود.نکته قابل توجه ، رویکرد ما از مدل های تولیدی دقیق جلوگیری می کند و نیاز به ساخت مدل های متفاوت را از بین می برد.این امر ما را قادر می سازد تا (1) به طور مستقیم از ویژگی های غیر متمایز/بازخورد پاداش ، که معمولاً در بسیاری از حوزه های علمی استفاده می شود ، استفاده کنیم و (2) روش خود را برای مدلهای انتشار گسسته اخیر به روشی اصولی اعمال کنیم.سرانجام ، ما اثربخشی الگوریتم خود را در چندین حوزه از جمله تولید تصویر ، تولید مولکول و تولید توالی DNA/RNA نشان می دهیم.کد در \ href {https://github.com/masa-ue/svdd} {https://github.com/masa-ue/svdd} موجود است.