ترجمه فارسی مقاله نمونه‌برداری برای سنتز نما: از ادغام میدان نور محلی تا میدان‌های تابش عصبی و فراتر از آن

چکیده

Capturing and rendering novel views of complex real-world scenes is a long-standing problem in computer graphics and vision, with applications in augmented and virtual reality, immersive experiences and 3D photography. The advent of deep learning has enabled revolutionary advances in this area, classically known as image-based rendering. However, previous approaches require intractably dense view sampling or provide little or no guidance for how users should sample views of a scene to reliably render high-quality novel views. Local light field fusion proposes an algorithm for practical view synthesis from an irregular grid of sampled views that first expands each sampled view into a local light field via a multiplane image scene representation, then renders novel views by blending adjacent local light fields. Crucially, we extend traditional plenoptic sampling theory to derive a bound that specifies precisely how densely users should sample views of a given scene when using our algorithm. We achieve the perceptual quality of Nyquist rate view sampling while using up to 4000x fewer views. Subsequent developments have led to new scene representations for deep learning with view synthesis, notably neural radiance fields, but the problem of sparse view synthesis from a small number of images has only grown in importance. We reprise some of the recent results on sparse and even single image view synthesis, while posing the question of whether prescriptive sampling guidelines are feasible for the new generation of image-based rendering algorithms.

چکیده به فارسی (ترجمه ماشینی)

ضبط و ارائه نماهای جدید از صحنه های پیچیده در دنیای واقعی یک مشکل دیرینه در گرافیک و دید رایانه است که برنامه هایی در واقعیت افزوده و مجازی ، تجربیات همهجانبه و عکاسی سه بعدی وجود دارد.ظهور یادگیری عمیق باعث پیشرفت های انقلابی در این زمینه شده است ، که از لحاظ کلاسیک به عنوان ارائه مبتنی بر تصویر شناخته می شود.با این حال ، رویکردهای قبلی نیاز به نمونه گیری دیدگاه متراکم دارند یا راهنمایی کم و یا هیچ راهنمایی برای چگونگی نمونه گیری کاربران باید از صحنه های یک صحنه برای ارائه قابل اعتماد به نماهای جدید با کیفیت بالا ارائه دهند.فیوژن میدان نور محلی الگوریتمی را برای سنتز نمای عملی از یک شبکه نامنظم از نماهای نمونه برداری ارائه می دهد که ابتدا هر نمای نمونه را از طریق یک نمایش صحنه تصویر چند منظوره در یک میدان نوری محلی گسترش می دهد ، سپس با ترکیب زمینه های مجاور نور محلی ، نماهای جدید را ارائه می دهد.به طور مهم ، ما تئوری نمونه گیری پلنوپتیک سنتی را گسترش می دهیم تا محدودی را به دست آوریم که دقیقاً مشخص می کند که چگونه کاربران متراکم باید هنگام استفاده از الگوریتم ما ، نماهای یک صحنه معین را نمونه برداری کنند.ما به کیفیت ادراکی نمونه برداری از نرخ Nyquist در حالی که حداکثر 4000 برابر دید کمتر می کنیم ، می رسیم.تحولات بعدی منجر به نمایش صحنه های جدید برای یادگیری عمیق با سنتز نمایش ، به ویژه زمینه های تابش عصبی شده است ، اما مشکل سنتز نمای پراکنده از تعداد کمی از تصاویر فقط از نظر اهمیت رشد کرده است.ما برخی از نتایج اخیر را در مورد سنتز نمای پراکنده و حتی واحد تصویر تکرار می کنیم ، در حالی که این سؤال را مطرح می کنیم که آیا دستورالعمل های نمونه گیری تجویز برای نسل جدید الگوریتم های ارائه مبتنی بر تصویر امکان پذیر است یا خیر.