3D Gaussian Splatting for Real-Time Radiance Field Rendering BERNHARD KERBL, GEORGIOS KOPANAS, THOMAS LEIMKÜHLER, GEORGE DRETTAKIS Radiance Field 방법은 최근 여러 사진 또는 비디오로 캡처된 장면의 새로운 뷰 합성에 혁신을 일으키고 있습니다. 그러나 높은 시각적 품질을 달성하려면 학습 및 렌더링에 비용이 많이 드는 신경망이 여전히 필요하며, 최근의 더 빠른 방법은 필연적으로 품질과 속도를 맞바꾸어야 합니다. (분리된 객체가 아닌) 경계가 없고 완전한 장면 및 1080p 해상도 렌더링의 경우 현재 방법으로는 실시간 디스플레이 속도를 달성할 수 없습니다. 경쟁력 있는 학습 시간을 유지하면서 SO..

Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa Abstract 텍스트 명령으로 NeRF 장면을 편집하는 방법을 제안합니다. 장면의 NeRF와 이를 재구성하는 데 사용된 이미지 모음을 고려할 때, 우리의 방법은 이미지 조건 diffusion 모델(InstructPix2Pix)을 사용하여 기본 장면을 최적화하면서 입력 이미지를 반복 편집하여 편집 명령을 존중하는 최적화된 3D 장면을 생성합니다. 우리는 제안된 방법이 대규모의 실제 장면을 편집할 수 있으며 이전 작업보다 더 현실적이고 타겟화된 편집을 수행할 수..

D-NeRF: Neural Radiance Fields for Dynamic Scenes Albert Pumarola, Enric Corona, Gerard Pons-Moll, Francesc Moreno-Noguer Abstract 머신러닝과 기하학적 추론을 결합한 신경 렌더링 기술은 희소한 이미지 집합에서 장면의 새로운 뷰를 합성하기 위한 가장 유망한 접근법 중 하나로 부상했습니다. 이 중에서도 5D 입력 좌표(공간 위치 및 뷰 방향을 나타내는)를 볼륨 밀도와 뷰에 의존하는 방출된 radiance로 매핑하도록 심층 네트워크를 학습시키는 Neural radiance fields (NeRF) [31]가 눈에 띕니다. 그러나 생성된 이미지에서 전례 없는 수준의 포토리얼리즘을 달성했음에도 불구하고 NeRF는..

DynIBaR: Neural Dynamic Image-Based Rendering Zhengqi Li, Qianqian Wang, Forrester Cole, Richard Tucker, Noah Snavely Abstract 우리는 복잡한 동적 장면을 묘사하는 단안 비디오에서 새로운 뷰를 합성하는 문제를 해결합니다. 시간적으로 변화하는 Neural Radiance Fields(일명 dynamic NeRFs)를 기반으로 하는 SOTA 방법은 이 작업에서 인상적인 결과를 보여주었습니다. 그러나 복잡한 객체 모션과 제어되지 않은 카메라 궤적이 있는 긴 비디오의 경우 이러한 방법은 블러하거나 부정확한 렌더링을 생성하여 실제 응용 프로그램에서 사용을 방해할 수 있습니다. MLP의 가중치 내에서 전체 동적 장면을..

MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields Jaeyoung Chung, Kanggeon Lee, Sungyong Baik, Kyoung Mu Lee Abstract 신경망의 표현력에 의존하는 neural radiance fields (NeRF)는 최근 3D 객체 및 장면 표현에 대해 유망하고 널리 적용 가능한 방법 중 하나로 부상했습니다. 그러나 NeRF는 데이터를 순차적으로 처리해야 하는 대규모 장면 및 메모리 양이 제한된 에지 장치와 같은 실용적인 응용 분야에서 과제에 직면해 있습니다. 이러한 점진적인 학습 시나리오에서 신경망은 치명적인 망각을 겪는 것으로 알려져 있습니다: 새로운 데이터로 학습을 받은 후 이전..

AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training Yifan Jiang, Peter Hedman, Ben Mildenhall, Dejia Xu, Jonathan T. Barron, Zhangyang Wang, Tianfan Xue Abstract Neural Radiance Fields (NeRF)는 3D 장면을 연속 함수로 모델링하기 위한 강력한 표현입니다. NeRF는 뷰 의존적 효과로 복잡한 3D 장면을 렌더링할 수 있지만, 고해상도 설정에서 한계를 탐색하기 위한 노력은 거의 없습니다. 특히, 기존 NeRF 기반 방법은 매우 많은 수의 매개 변수, 잘못 정렬된 입력 데이터 및 지나치게 매끄러운 세부 정보를 포함하여 ..