ترجمه فارسی مقاله هدایت انرژی هموار: مدل‌های انتشار هدایت‌کننده با انحنای انرژی کاهش‌یافته توجه

چکیده

Conditional diffusion models have shown remarkable success in visual content generation, producing high-quality samples across various domains, largely due to classifier-free guidance (CFG). Recent attempts to extend guidance to unconditional models have relied on heuristic techniques, resulting in suboptimal generation quality and unintended effects. In this work, we propose Smoothed Energy Guidance (SEG), a novel training- and condition-free approach that leverages the energy-based perspective of the self-attention mechanism to enhance image generation. By defining the energy of self-attention, we introduce a method to reduce the curvature of the energy landscape of attention and use the output as the unconditional prediction. Practically, we control the curvature of the energy landscape by adjusting the Gaussian kernel parameter while keeping the guidance scale parameter fixed. Additionally, we present a query blurring method that is equivalent to blurring the entire attention weights without incurring quadratic complexity in the number of tokens. In our experiments, SEG achieves a Pareto improvement in both quality and the reduction of side effects. The code is available at url{https://github.com/SusungHong/SEG-SDXL}.

چکیده به فارسی (ترجمه ماشینی)

مدل های انتشار مشروط موفقیت چشمگیری در تولید محتوای بصری نشان داده اند و نمونه های با کیفیت بالا را در حوزه های مختلف تولید می کنند ، عمدتا به دلیل راهنمایی بدون طبقه بندی کننده (CFG).تلاش های اخیر برای گسترش راهنمایی به مدلهای بی قید و شرط به تکنیک های اکتشافی متکی بوده است ، و در نتیجه کیفیت تولید زیر حد و اثرات ناخواسته است.در این کار ، ما راهنمایی انرژی صاف (SEG) را پیشنهاد می کنیم ، یک رویکرد جدید آموزش و بدون شرط که از دیدگاه مبتنی بر انرژی مکانیسم خودآگاهی برای تقویت تولید تصویر استفاده می کند.با تعریف انرژی توجه خود ، ما روشی را برای کاهش انحنای چشم انداز انرژی توجه و استفاده از خروجی به عنوان پیش بینی بی قید و شرط معرفی می کنیم.به طور عملی ، ما با تنظیم پارامتر هسته گاوسی ضمن ثابت نگه داشتن پارامتر مقیاس راهنمایی ، انحنای چشم انداز انرژی را کنترل می کنیم.علاوه بر این ، ما یک روش تار پرس و جو را ارائه می دهیم که معادل تار شدن کل وزن توجه بدون ایجاد پیچیدگی درجه دوم در تعداد نشانه ها است.در آزمایشات ما ، SEG به بهبود پارتو در کیفیت و کاهش عوارض جانبی دست پیدا می کند.کد در url {https://github.com/susunghong/seg-sdxl} در دسترس است.