ترجمه فارسی مقاله Turboedit: ویرایش تصویر مبتنی بر متن فوری

چکیده

We address the challenges of precise image inversion and disentangled image editing in the context of few-step diffusion models. We introduce an encoder based iterative inversion technique. The inversion network is conditioned on the input image and the reconstructed image from the previous step, allowing for correction of the next reconstruction towards the input image. We demonstrate that disentangled controls can be easily achieved in the few-step diffusion model by conditioning on an (automatically generated) detailed text prompt. To manipulate the inverted image, we freeze the noise maps and modify one attribute in the text prompt (either manually or via instruction based editing driven by an LLM), resulting in the generation of a new image similar to the input image with only one attribute changed. It can further control the editing strength and accept instructive text prompt. Our approach facilitates realistic text-guided image edits in real-time, requiring only 8 number of functional evaluations (NFEs) in inversion (one-time cost) and 4 NFEs per edit. Our method is not only fast, but also significantly outperforms state-of-the-art multi-step diffusion editing techniques.

چکیده به فارسی (ترجمه ماشینی)

ما به چالش های وارونگی دقیق تصویر و ویرایش تصویر جدا شده در زمینه مدل های انتشار چند مرحله ای می پردازیم.ما یک روش وارونگی تکراری مبتنی بر رمزگذار را معرفی می کنیم.شبکه وارونگی بر روی تصویر ورودی و تصویر بازسازی شده از مرحله قبلی شرط شده است و امکان اصلاح بازسازی بعدی به سمت تصویر ورودی را فراهم می کند.ما نشان می دهیم که کنترل های جدا شده را می توان به راحتی در مدل انتشار چند مرحله ای با تهویه بر روی یک متن دقیق (به طور خودکار تولید شده) به دست آورد.برای دستکاری تصویر معکوس ، ما نقشه های نویز را یخ می زنیم و یک ویژگی را در متن متن تغییر می دهیم (یا به صورت دستی یا از طریق ویرایش مبتنی بر دستورالعمل هدایت شده توسط LLM) ، و در نتیجه تولید یک تصویر جدید شبیه به تصویر ورودی با یک ویژگیتغییر کرداین می تواند قدرت ویرایش را بیشتر کنترل کرده و سریع متن آموزنده را بپذیرد.رویکرد ما ویرایش های تصویر با هدایت متن واقع بینانه را در زمان واقعی تسهیل می کند ، و فقط به 8 تعداد ارزیابی عملکردی (NFE) در وارونگی (هزینه یک بار) و 4 NFE در هر ویرایش نیاز دارد.روش ما نه تنها سریع است ، بلکه به طور قابل توجهی از تکنیک های ویرایش چند مرحله ای از پیشرفت چند مرحله ای نیز برخوردار است.