ترجمه فارسی مقاله درک هندسه محلی منیفولدهای مدل تولیدی

چکیده

Deep generative models learn continuous representations of complex data manifolds using a finite number of samples during training. For a pre-trained generative model, the common way to evaluate the quality of the manifold representation learned, is by computing global metrics like Fréchet Inception Distance using a large number of generated and real samples. However, generative model performance is not uniform across the learned manifold, e.g., for \textit{foundation models} like Stable Diffusion generation performance can vary significantly based on the conditioning or initial noise vector being denoised. In this paper we study the relationship between the \textit{local geometry of the learned manifold} and downstream generation. Based on the theory of continuous piecewise-linear (CPWL) generators, we use three geometric descriptors – scaling ($ψ$), rank ($ν$), and complexity ($δ$) – to characterize a pre-trained generative model manifold locally. We provide quantitative and qualitative evidence showing that for a given latent, the local descriptors are correlated with generation aesthetics, artifacts, uncertainty, and even memorization. Finally we demonstrate that training a \textit{reward model} on the local geometry can allow controlling the likelihood of a generated sample under the learned distribution.

چکیده به فارسی (ترجمه ماشینی)

مدل های تولیدی عمیق بازنمودهای مداوم از منیفولد داده های پیچیده را با استفاده از تعداد محدودی از نمونه ها در طول آموزش می آموزند.برای یک مدل تولیدی از قبل آموزش دیده ، روش مشترک برای ارزیابی کیفیت بازنمایی منیفولد که آموخته شده است ، با محاسبه معیارهای جهانی مانند فاصله Fréchet با استفاده از تعداد زیادی از نمونه های تولید شده و واقعی است.با این حال ، عملکرد مدل تولیدی در سراسر منیفولد آموخته شده یکنواخت نیست ، به عنوان مثال ، برای مدل های بنیادی \ textit} مانند عملکرد تولید انتشار پایدار می تواند به طور قابل توجهی متفاوت باشد بر اساس تهویه مطبوع یا وکتور نویز اولیه که از آن استفاده می شود.در این مقاله رابطه بین هندسه محلی {هندسه محلی مانیفولد آموخته شده و نسل پایین دست را بررسی می کنیم.بر اساس تئوری ژنراتورهای مداوم و خطی مداوم (CPWL) ، ما از سه توصیف کننده هندسی – مقیاس گذاری ($ ψ $) ، رتبه ($ ν $) و پیچیدگی ($ δ $) استفاده می کنیم – برای توصیف یک مدل تولیدی از پیش آموزش داده شدهچند برابر محلی.ما شواهد کمی و کیفی ارائه می دهیم که نشان می دهد برای یک نهان مشخص ، توصیف کننده های محلی با زیبایی شناسی نسل ، مصنوعات ، عدم اطمینان و حتی حفظ ارتباط دارند.سرانجام ما نشان می دهیم که آموزش یک مدل پاداش \ textit} در هندسه محلی می تواند امکان کنترل احتمال یک نمونه تولید شده در زیر توزیع آموخته را فراهم کند.