ترجمه فارسی مقاله بازیابی سریع برای مدل های تولید تصویر: یک مطالعه مقایسه ای بهینه سازهای گسسته

چکیده

Recovering natural language prompts for image generation models, solely based on the generated images is a difficult discrete optimization problem. In this work, we present the first head-to-head comparison of recent discrete optimization techniques for the problem of prompt inversion. We evaluate Greedy Coordinate Gradients (GCG), PEZ , Random Search, AutoDAN and BLIP2’s image captioner across various evaluation metrics related to the quality of inverted prompts and the quality of the images generated by the inverted prompts. We find that focusing on the CLIP similarity between the inverted prompts and the ground truth image acts as a poor proxy for the similarity between ground truth image and the image generated by the inverted prompts. While the discrete optimizers effectively minimize their objectives, simply using responses from a well-trained captioner often leads to generated images that more closely resemble those produced by the original prompts.

چکیده به فارسی (ترجمه ماشینی)

بازیابی زبان طبیعی برای مدل های تولید تصویر ، صرفاً بر اساس تصاویر تولید شده ، یک مشکل بهینه سازی گسسته دشوار است.در این کار ، ما اولین مقایسه سر به سر تکنیک های بهینه سازی گسسته اخیر را برای مشکل وارونگی سریع ارائه می دهیم.ما شیب های مختصات حریص (GCG) ، PEZ ، جستجوی تصادفی ، Autodan و BLIP2 را در معیارهای مختلف ارزیابی مربوط به کیفیت سوابق معکوس و کیفیت تصاویر تولید شده توسط اعلان های معکوس ارزیابی می کنیم.ما می دانیم که تمرکز بر شباهت کلیپ بین اعلان های معکوس و تصویر حقیقت زمین به عنوان یک پروکسی ضعیف برای شباهت بین تصویر حقیقت زمین و تصویر ایجاد شده توسط اعلان های معکوس عمل می کند.در حالی که بهینه سازهای گسسته به طور مؤثر اهداف خود را به حداقل می رسانند ، صرفاً استفاده از پاسخ های زیرنویس خوب آموزش دیده ، اغلب منجر به تصاویر تولید شده می شود که از نزدیک شبیه به تولیدات اصلی هستند.