MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields Jaeyoung Chung, Kanggeon Lee, Sungyong Baik, Kyoung Mu Lee Abstract 신경망의 표현력에 의존하는 neural radiance fields (NeRF)는 최근 3D 객체 및 장면 표현에 대해 유망하고 널리 적용 가능한 방법 중 하나로 부상했습니다. 그러나 NeRF는 데이터를 순차적으로 처리해야 하는 대규모 장면 및 메모리 양이 제한된 에지 장치와 같은 실용적인 응용 분야에서 과제에 직면해 있습니다. 이러한 점진적인 학습 시나리오에서 신경망은 치명적인 망각을 겪는 것으로 알려져 있습니다: 새로운 데이터로 학습을 받은 후 이전..

AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training Yifan Jiang, Peter Hedman, Ben Mildenhall, Dejia Xu, Jonathan T. Barron, Zhangyang Wang, Tianfan Xue Abstract Neural Radiance Fields (NeRF)는 3D 장면을 연속 함수로 모델링하기 위한 강력한 표현입니다. NeRF는 뷰 의존적 효과로 복잡한 3D 장면을 렌더링할 수 있지만, 고해상도 설정에서 한계를 탐색하기 위한 노력은 거의 없습니다. 특히, 기존 NeRF 기반 방법은 매우 많은 수의 매개 변수, 잘못 정렬된 입력 데이터 및 지나치게 매끄러운 세부 정보를 포함하여 ..

MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures Zhiqin Chen, Thomas Funkhouser, Peter Hedman, Andrea Tagliasacchi Abstract Neural Radiance Fields (NeRF)는 새로운 관점에서 3D 장면의 이미지를 합성하는 놀라운 능력을 보여주었습니다. 그러나 광범위하게 배치된 그래픽 하드웨어의 기능과 일치하지 않는 ray marching 기반의 전문 볼륨 렌더링 알고리즘에 의존합니다. 이 논문은 표준 렌더링 파이프라인으로 새로운 이미지를 효율적으로 합성할 수 있는 질감 처리된 다각..

Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image Andrew Liu, Richard Tucker, Varun Jampani, Ameesh Makadia, Noah Snavely, Angjoo Kanazawa Abstract 지속적인 뷰 생성 문제를 소개합니다—단일 이미지가 주어진 임의의 긴 카메라 궤적에 해당하는 새로운 뷰의 장거리 생성. 이는 큰 카메라 모션으로 제시되면 빠르게 퇴화하는 현재 뷰 합성 방법의 기능을 훨씬 뛰어넘는 어려운 문제입니다. 비디오 생성 방법도 긴 시퀀스를 생성하는 데 한계가 있으며 종종 장면 지오메트리에 구애받지 않습니다. 우리는 기하학과 이미지 합성을 모두 반복적인 '렌더, 정제 ..

NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion Jiatao Gu, Alex Trevithick, Kai-En Lin, Josh Susskind, Christian Theobalt, Lingjie Liu, Ravi Ramamoorthi Abstract 단일 이미지에서 새로운 뷰 합성은 입력과 의미론적, 물리적 일관성을 동시에 유지하면서 객체와 장면의 폐쇄된 영역을 추론해야 한다. 기존 접근 방식은 로컬 이미지 피쳐에 대한 Neural Radiance Fields (NeRF)를 조건화하고, 입력 이미지 평면에 점을 투영하며, 볼륨 렌더링을 수행하기 위해 2D 피쳐를 집계한다. 그러나 심각한 ..

RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation Titas Anciukeviˇcius, Zexiang Xu, Matthew Fisher, Paul Henderson, Hakan Bilen, Niloy J. Mitra, Paul Guerrero Abstract Diffusion 모델은 현재 조건적 및 무조건적 이미지 생성 모두에서 SOTA 성능을 달성한다. 그러나 지금까지 이미지 diffusion 모델은 뷰 일관성 있는 3D 생성 또는 단일 뷰 객체 재구성과 같은 3D 이해에 필요한 작업을 지원하지 않는다. 본 논문에서는 단안 2D supervision만을 사용하여 학습할 수 있는 3D 생성 및 추론을 위한 ..