مقاله آموزش کارآمد نمونه برای انتشار

چکیده

Score-based diffusion models have become the most popular approach to deep generative modeling of images, largely due to their empirical performance and reliability. Recently, a number of theoretical works \citep{chen2022, Chen2022ImprovedAO, Chenetal23flowode, benton2023linear} have shown that diffusion models can efficiently sample, assuming $L^2$-accurate score estimates. The score-matching objective naturally approximates the true score in $L^2$, but the sample complexity of existing bounds depends \emph{polynomially} on the data radius and desired Wasserstein accuracy. By contrast, the time complexity of sampling is only logarithmic in these parameters. We show that estimating the score in $L^2$ \emph{requires} this polynomial dependence, but that a number of samples that scales polylogarithmically in the Wasserstein accuracy actually do suffice for sampling. We show that with a polylogarithmic number of samples, the ERM of the score-matching objective is $L^2$ accurate on all but a probability $δ$ fraction of the true distribution, and that this weaker guarantee is sufficient for efficient sampling.

چکیده به فارسی (ترجمه ماشینی)

مدل های انتشار مبتنی بر نمره به محبوب ترین رویکرد برای مدل سازی عمیق تولید تصاویر تبدیل شده اند ، عمدتاً به دلیل عملکرد و قابلیت اطمینان آنها.به تازگی ، تعدادی از آثار نظری \ Citep {Chen2022 ، Chen2022IMProvedAO ، Chenetal23flowode ، Benton2023linear} نشان داده اند که مدل های انتشار می توانند به طور مؤثر نمونه ای از آن را با فرض برآورد امتیاز L^2 $ $-ACCURATE نشان دهند.هدف همبستگی نمره به طور طبیعی نمره واقعی را در $ l^2 $ تقریب می دهد ، اما پیچیدگی نمونه مرزهای موجود به شعاع داده ها و دقت Wasserstein بستگی دارد.در مقابل ، پیچیدگی زمانی نمونه برداری فقط در این پارامترها لگاریتمی است.ما نشان می دهیم که برآورد نمره در $ l^2 $ \ it {به این وابستگی چند جمله ای نیاز دارد ، اما تعدادی از نمونه هایی که در دقت Wasserstein به صورت پولیلوگرامی مقیاس می کنند ، در واقع برای نمونه برداری کافی است.ما نشان می دهیم که با تعداد نمونه های پولیلوگرامی ، ERM از هدف تطبیق نمره $ l^2 $ دقیق در مورد همه به جز یک احتمال $ δ $ توزیع واقعی است ، و این ضمانت ضعیف تر برای نمونه گیری کارآمد کافی است.