مقاله Lego: یادگیری تفکیک و معکوس کردن مفاهیم فراتر از ظاهر شیء در مدل های انتشار متن به تصویر

چکیده

Diffusion models have revolutionized generative content creation and text-to-image (T2I) diffusion models in particular have increased the creative freedom of users by allowing scene synthesis using natural language. T2I models excel at synthesizing concepts such as nouns, appearances, and styles. To enable customized content creation based on a few example images of a concept, methods such as Textual Inversion and DreamBooth invert the desired concept and enable synthesizing it in new scenes. However, inverting more general concepts that go beyond object appearance and style (adjectives and verbs) through natural language, remains a challenge. Two key characteristics of these concepts contribute to the limitations of current inversion methods. 1) Adjectives and verbs are entangled with nouns (subject) and can hinder appearance-based inversion methods, where the subject appearance leaks into the concept embedding and 2) describing such concepts often extends beyond single word embeddings (being frozen in ice, walking on a tightrope, etc.) that current methods do not handle. In this study, we introduce Lego, a textual inversion method designed to invert subject entangled concepts from a few example images. Lego disentangles concepts from their associated subjects using a simple yet effective Subject Separation step and employs a Context Loss that guides the inversion of single/multi-embedding concepts. In a thorough user study, Lego-generated concepts were preferred over 70% of the time when compared to the baseline. Additionally, visual question answering using a large language model suggested Lego-generated concepts are better aligned with the text description of the concept.

چکیده به فارسی (ترجمه ماشینی)

مدل های انتشار باعث ایجاد محتوای تولیدی و مدل های انتشار متن به تصویر (T2I) به ویژه با اجازه دادن به سنتز صحنه با استفاده از زبان طبیعی ، آزادی خلاق کاربران را افزایش داده اند.مدل های T2I در ترکیب مفاهیم مانند اسم ، ظواهر و سبک ها برتری دارند.برای فعال کردن ایجاد محتوای سفارشی بر اساس چند تصویر نمونه از یک مفهوم ، روش هایی مانند وارونگی متنی و رویایی مفهوم مورد نظر را معکوس کرده و سنتز کردن آن را در صحنه های جدید امکان پذیر می کند.با این حال ، معکوس کردن مفاهیم کلی تر که فراتر از ظاهر و سبک (صفت ها و افعال) از طریق زبان طبیعی است ، همچنان یک چالش است.دو ویژگی اصلی این مفاهیم به محدودیت های روش های وارونگی فعلی کمک می کند.1) صفت ها و افعال درگیر اسمها (موضوع) هستند و می توانند مانع از روشهای وارونگی مبتنی بر ظاهر شوند ، جایی که ظاهر موضوع در تعبیه مفهوم نشت می کند و 2) توصیف چنین مفاهیمی اغلب فراتر از تعبیه های کلمه ای (یخ زده در یخ ، قدم زدن بر روی آن قرار می گیرد.یک تنگه ، و غیره) که روشهای فعلی از آن استفاده نمی کنند.در این مطالعه ، LEGO را معرفی می کنیم ، یک روش وارونگی متنی که برای معکوس کردن مفاهیم درگیر از چند تصویر مثال طراحی شده است.LEGO مفاهیم را از موضوعات مرتبط با آنها با استفاده از یک مرحله جداسازی موضوع ساده و در عین حال مؤثر جدا می کند و از دست دادن متن استفاده می کند که وارونگی مفاهیم تک/چند تعبیه شده را راهنمایی می کند.در یک مطالعه کامل کاربر ، مفاهیم تولید شده توسط LEG بیش از 70 ٪ از زمان مقایسه با پایه ترجیح داده شدند.علاوه بر این ، پاسخ به سؤال بصری با استفاده از یک مدل بزرگ زبان ، مفاهیم تولید شده توسط LEGO را بهتر با توضیحات متن مفهوم هماهنگ می کنند.