مقاله دمیدن زندگی در طرح ها با استفاده از مقدمه های متن به ویدیو

چکیده

A sketch is one of the most intuitive and versatile tools humans use to convey their ideas visually. An animated sketch opens another dimension to the expression of ideas and is widely used by designers for a variety of purposes. Animating sketches is a laborious process, requiring extensive experience and professional design skills. In this work, we present a method that automatically adds motion to a single-subject sketch (hence, “breathing life into it”), merely by providing a text prompt indicating the desired motion. The output is a short animation provided in vector representation, which can be easily edited. Our method does not require extensive training, but instead leverages the motion prior of a large pretrained text-to-video diffusion model using a score-distillation loss to guide the placement of strokes. To promote natural and smooth motion and to better preserve the sketch’s appearance, we model the learned motion through two components. The first governs small local deformations and the second controls global affine transformations. Surprisingly, we find that even models that struggle to generate sketch videos on their own can still serve as a useful backbone for animating abstract representations.

چکیده به فارسی (ترجمه ماشینی)

طرح یکی از بصری ترین و همه کاره ترین ابزارهایی است که انسان ها برای انتقال بصری ایده های خود از آن استفاده می کنند.یک طرح انیمیشن ابعاد دیگری را برای بیان ایده ها باز می کند و توسط طراحان برای اهداف مختلف مورد استفاده قرار می گیرد.Animating Sketches یک فرایند پر زحمت است که نیاز به تجربه گسترده و مهارت های طراحی حرفه ای دارد.در این کار ، ما روشی را ارائه می دهیم که به طور خودکار حرکت را به یک طرح تک موضوع اضافه می کند (از این رو ، “زندگی تنفس در آن”) ، صرفاً با ارائه سریع متن که نشانگر حرکت مورد نظر است.خروجی یک انیمیشن کوتاه است که در بازنمایی بردار ارائه شده است ، که به راحتی قابل ویرایش است.روش ما نیازی به آموزش گسترده ندارد ، بلکه در عوض از حرکت پیش از یک مدل انتشار متن به ویدئو با استفاده از یک از دست دادن نمره نمره برای هدایت قرار دادن سکته مغزی استفاده می کند.برای ترویج حرکت طبیعی و صاف و حفظ بهتر ظاهر طرح ، ما حرکت آموخته شده را از طریق دو مؤلفه الگوبرداری می کنیم.اول بر تغییر شکل های محلی کوچک حاکم است و دوم تحولات جهانی را کنترل می کند.با کمال تعجب ، ما می دانیم که حتی مدلهایی که برای تولید فیلم های طرح به تنهایی تلاش می کنند ، هنوز هم می توانند به عنوان یک ستون فقرات مفید برای انیمیشن کردن بازنمودهای انتزاعی باشند.