IBRNet: Learning Multi-View Image-Based Rendering Qianqian Wang, Zhicheng Wang, Kyle Genova, Pratul Srinivasan, Howard Zhou, Jonathan T. Barron, Ricardo Martin-Brualla, Noah Snavely, Thomas Funkhouser Abstract 우리는 가까운 뷰의 희박한 세트를 보간하여 복잡한 장면의 새로운 뷰를 합성하는 방법을 제시한다. 우리 방법의 핵심은 연속된 5D 위치(3D 공간 위치 및 2D 뷰 방향)에서 radiance와 부피 밀도를 추정하는 다층 퍼셉트론과 ray 트랜스포머를 포함하는 네트워크 아키텍처로, 여러 소스 뷰에서 즉시 외관 정보를 그린다. 렌더링 시 소..

Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes Julian Chibane, Aayush Bansal, Verica Lazova, Gerard Pons-Moll Abstract 최근의 신경 뷰 합성 방법은 다중 뷰 재구성에 의존하는 고전적인 파이프라인을 능가하는 인상적인 품질과 사실성을 달성했다. NeRF[34]와 같은 SOTA 방법은 신경망으로 단일 장면을 학습하도록 설계되었으며 고밀도 멀티뷰 입력이 필요하다. 새로운 장면에서 테스트를 하려면 처음부터 다시 학습해야 하는데, 2-3일이 걸린다. 본 연구에서는 종단 간 학습을 받고, 새로운 장면으로 일반화하며, 테스트 시 희소 뷰만 요구하는 신경 뷰..

MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, Hao Su Abstract 우리는 뷰 합성을 위해 neural radiance fields를 효율적으로 재구성할 수 있는 새로운 신경 렌더링 접근법인 MVSNeRF를 제시한다. 조밀하게 캡처된 이미지에서 장면당 최적화를 고려하는 neural radiance fields에 대한 이전 연구와 달리, 우리는 빠른 네트워크 추론을 통해 근처의 세 가지 입력 뷰에서만 radiance fields를 재구성할 수 있는 일반적인 심층 ..

pixelNeRF: Neural Radiance Fields from One or Few Images Alex Yu, Vickie Ye, Matthew Tancik, Angjoo Kanazawa Abstract 우리는 하나 또는 몇 개의 입력 이미지에서 조건화된 연속적인 신경 장면 표현을 예측하는 학습 프레임워크인 pixelNeRF를 제안한다. neural radiance fields [27]를 구성하기 위한 기존 접근 방식은 모든 장면에서 독립적으로 표현을 최적화하는 것을 포함하며, 많은 보정된 뷰와 상당한 계산 시간이 필요하다. 이미지 입력에 대해 NeRF를 완전 컨볼루션 방식으로 조건화하는 아키텍처를 도입하여 이러한 단점을 해결하기 위한 단계를 밟는다. 이를 통해 네트워크는 한 장면을 미리 학습하기..

NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections Ricardo Martin-Brualla, Noha Radwan, Mehdi S. M. Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth Abstract우리는 구조화되지 않은 현장 사진 모음만을 사용하여 복잡한 장면의 새로운 뷰를 합성하는 학습 기반 방법을 제시한다.우리는 다층 퍼셉트론의 가중치를 사용하여 장면의 밀도와 색상을 3D 좌표의 함수로 모델링하는 Neural Radiance Field (NeRF)을 기반으로 한다.NeRF는 제어된 설정에서 캡처된 정적 피사체의 이미지에서 잘 작동하지만..

RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs Michael Niemeyer, Jonathan T. Barron, Ben Mildenhall, Mehdi S. M. Sajjadi, Andreas Geiger, Noha Radwan Abstract 신경 방사장(NeRF)은 단순성과 SOTA 성능으로 인해 새로운 뷰 합성 작업에 대한 강력한 표현으로 부상했다. 많은 입력 뷰를 사용할 수 있을 때 NeRF는 보이지 않는 관점의 사실적인 렌더링을 생성할 수 있지만, 이 숫자가 줄어들면 성능이 크게 떨어진다. 희소 입력 시나리오의 아티팩트의 대부분은 추정된 장면 지오메트리의 오류와 학습 시작 시 다른 동작에 의해..