مقاله ZipLoRA: هر موضوعی به هر سبکی با ادغام موثر LORA ها

چکیده

Methods for finetuning generative models for concept-driven personalization generally achieve strong results for subject-driven or style-driven generation. Recently, low-rank adaptations (LoRA) have been proposed as a parameter-efficient way of achieving concept-driven personalization. While recent work explores the combination of separate LoRAs to achieve joint generation of learned styles and subjects, existing techniques do not reliably address the problem; they often compromise either subject fidelity or style fidelity. We propose ZipLoRA, a method to cheaply and effectively merge independently trained style and subject LoRAs in order to achieve generation of any user-provided subject in any user-provided style. Experiments on a wide range of subject and style combinations show that ZipLoRA can generate compelling results with meaningful improvements over baselines in subject and style fidelity while preserving the ability to recontextualize. Project page: https://ziplora.github.io

چکیده به فارسی (ترجمه ماشینی)

روشهای مدل های تولیدی Finetuning برای شخصی سازی مفهوم محور به طور کلی برای نسل سوژه محور یا سبک محور به نتایج محکمی می رسند.به تازگی ، سازگاری با درجه پایین (LORA) به عنوان یک روش پارامتر کارآمد برای دستیابی به شخصی سازی مفهوم محور ارائه شده است.در حالی که کار اخیر به بررسی ترکیب LORA های جداگانه برای دستیابی به نسل مشترک سبک ها و موضوعات آموخته شده می پردازد ، تکنیک های موجود به طور قابل اطمینان به مشکل نمی پردازند.آنها غالباً به وفاداری موضوع یا وفاداری سبک سازش می کنند.ما Ziplora را پیشنهاد می کنیم ، روشی برای ادغام ارزان و مؤثر LORAS به طور مستقل آموزش دیده و LORAS به منظور دستیابی به تولید هر موضوع ارائه شده توسط کاربر در هر سبک ارائه شده توسط کاربر.آزمایشات در مورد طیف گسترده ای از ترکیبات موضوعی و سبک نشان می دهد که Ziplora می تواند با پیشرفت های معنادار نسبت به پایه های پایه در وفاداری موضوع و سبک ، ضمن حفظ توانایی مجدد ، نتایج قانع کننده ایجاد کند.صفحه پروژه: https://ziplora.github.io