ترجمه فارسی مقاله LASERS: رمزگذاری فضای نهفته برای بازنمایی با کمبود برای مدل سازی تولیدی

چکیده

Learning compact and meaningful latent space representations has been shown to be very useful in generative modeling tasks for visual data. One particular example is applying Vector Quantization (VQ) in variational autoencoders (VQ-VAEs, VQ-GANs, etc.), which has demonstrated state-of-the-art performance in many modern generative modeling applications. Quantizing the latent space has been justified by the assumption that the data themselves are inherently discrete in the latent space (like pixel values). In this paper, we propose an alternative representation of the latent space by relaxing the structural assumption than the VQ formulation. Specifically, we assume that the latent space can be approximated by a union of subspaces model corresponding to a dictionary-based representation under a sparsity constraint. The dictionary is learned/updated during the training process. We apply this approach to look at two models: Dictionary Learning Variational Autoencoders (DL-VAEs) and DL-VAEs with Generative Adversarial Networks (DL-GANs). We show empirically that our more latent space is more expressive and has leads to better representations than the VQ approach in terms of reconstruction quality at the expense of a small computational overhead for the latent space computation. Our results thus suggest that the true benefit of the VQ approach might not be from discretization of the latent space, but rather the lossy compression of the latent space. We confirm this hypothesis by showing that our sparse representations also address the codebook collapse issue as found common in VQ-family models.

چکیده به فارسی (ترجمه ماشینی)

نشان داده شده است که یادگیری بازنمایی های کم حجم و معنی دار در کارهای مدل سازی تولیدی برای داده های بصری بسیار مفید است.یک مثال خاص استفاده از کمیت بردار (VQ) در خودروهای متغیر (VQ-VAES ، VQ-GANS و غیره) است که عملکرد پیشرفته ای را در بسیاری از برنامه های مدل سازی مدرن نشان داده است.کمیت فضای نهفته با این فرض که خود داده ها ذاتاً در فضای نهفته گسسته هستند (مانند مقادیر پیکسل) توجیه شده است.در این مقاله ، ما با آرامش فرض ساختاری نسبت به فرمولاسیون VQ ، بازنمایی جایگزین از فضای نهفته را پیشنهاد می کنیم.به طور خاص ، ما فرض می کنیم که فضای نهفته را می توان با اتحادیه مدل های زیر فضای متناسب با یک نمایندگی مبتنی بر فرهنگ لغت تحت یک محدودیت پراکنده تقریب داد.فرهنگ لغت در طی فرایند آموزش آموخته و به روز می شود.ما این روش را برای بررسی دو مدل به کار می بریم: AutoEnencoders متغیر یادگیری فرهنگ لغت (DL-VAES) و DL-VAE با شبکه های مخالف تولید کننده (DL-GANS).ما به صورت تجربی نشان می دهیم که فضای نهفته ما بیانگر تر است و از نظر کیفیت بازسازی با هزینه یک سربار محاسباتی کوچک برای محاسبه فضایی نهفته منجر به بازنمایی بهتر از رویکرد VQ می شود.نتایج ما نشان می دهد که فواید واقعی رویکرد VQ ممکن است ناشی از گسسته شدن فضای نهفته نباشد ، بلکه فشرده سازی از دست دادن فضای نهفته است.ما این فرضیه را با نشان دادن اینکه بازنمایی های پراکنده ما نیز به مسئله فروپاشی کتاب کد نیز پرداخته است ، همانطور که در مدل های VQ-Family رایج است ، تأیید می کنیم.