Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images Asra Aslam, Mohd. Samar Ansari Abstract 현대 멀티미디어 콘텐츠 생성 및 보급은 점점 더 '현실적인' 시나리오를 제시하는 방향으로 나아가고 있다. 2차원(2D)에서 3차원(3D)으로의 전환은 이러한 방향으로의 주요 원동력이 되었습니다. 최근 들어 3D 이미지/비디오를 만들기 위한 수많은 접근 방식이 제안되었으며, 대부분은 depth 맵의 생성을 기반으로 한다. 이 논문은 사용 가능한 한 쌍의 입체 이미지에서 묘사된 장면과 관련된 depth 정보를 얻기 위한 새로운 알고리즘을 제시한다. 제안된 알고리즘은 depth 추정을 위해 스테레오 쌍의 두 이..

Depth-supervised NeRF: Fewer Views and Faster Training for Free Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan Abstract Neural Radiance Field (NeRF) 모델의 일반적인 실패 모드 중 하나는 입력 뷰 수가 충분하지 않을 때 잘못된 지오메트리를 적합시키는 것이다. 우리는 쉽게 이용할 수 있는 depth supervision을 활용하는 neural radiance field를 학습하기 위한 loss인 DS-NeRF (Depth-supervised Neural Radience Fields)를 제안한다. 우리의 핵심 통찰력은 희박한 depth supervision이 NeRF를 사용하여 새로운 ..

SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image Dejia Xu, Yifan Jiang, Peihao Wang, Zhiwen Fan, Humphrey Shi, Zhangyang Wang Abstract Neural Radience Field (NeRF)의 빠른 개발에도 불구하고, 고밀도 커버의 필요성은 더 넓은 적용을 크게 금지한다. 최근 몇 가지 작업이 이 문제를 해결하려고 시도했지만, 희소 뷰(그래도 일부) 또는 간단한 객체/장면에서 작동한다. 이 연구에서 우리는 보다 야심찬 작업을 고려한다: "looking only once"를 통해 현실적으로 복잡한 시각적 장면에서 신경 방사장을 학습하는 것이다. 이 목표..

IBRNet: Learning Multi-View Image-Based Rendering Qianqian Wang, Zhicheng Wang, Kyle Genova, Pratul Srinivasan, Howard Zhou, Jonathan T. Barron, Ricardo Martin-Brualla, Noah Snavely, Thomas Funkhouser Abstract 우리는 가까운 뷰의 희박한 세트를 보간하여 복잡한 장면의 새로운 뷰를 합성하는 방법을 제시한다. 우리 방법의 핵심은 연속된 5D 위치(3D 공간 위치 및 2D 뷰 방향)에서 radiance와 부피 밀도를 추정하는 다층 퍼셉트론과 ray 트랜스포머를 포함하는 네트워크 아키텍처로, 여러 소스 뷰에서 즉시 외관 정보를 그린다. 렌더링 시 소..

Stereo Radiance Fields (SRF): Learning View Synthesis for Sparse Views of Novel Scenes Julian Chibane, Aayush Bansal, Verica Lazova, Gerard Pons-Moll Abstract 최근의 신경 뷰 합성 방법은 다중 뷰 재구성에 의존하는 고전적인 파이프라인을 능가하는 인상적인 품질과 사실성을 달성했다. NeRF[34]와 같은 SOTA 방법은 신경망으로 단일 장면을 학습하도록 설계되었으며 고밀도 멀티뷰 입력이 필요하다. 새로운 장면에서 테스트를 하려면 처음부터 다시 학습해야 하는데, 2-3일이 걸린다. 본 연구에서는 종단 간 학습을 받고, 새로운 장면으로 일반화하며, 테스트 시 희소 뷰만 요구하는 신경 뷰..

MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, Hao Su Abstract 우리는 뷰 합성을 위해 neural radiance fields를 효율적으로 재구성할 수 있는 새로운 신경 렌더링 접근법인 MVSNeRF를 제시한다. 조밀하게 캡처된 이미지에서 장면당 최적화를 고려하는 neural radiance fields에 대한 이전 연구와 달리, 우리는 빠른 네트워크 추론을 통해 근처의 세 가지 입력 뷰에서만 radiance fields를 재구성할 수 있는 일반적인 심층 ..