InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering Mijeong Kim, Seonguk Seo, Bohyung Han Abstract 신경 암묵적 표현을 기반으로 한 퓨샷 새로운 뷰 합성을 위한 정보 이론적 정규화 기법을 제시한다. 제안된 접근 방식은 각 ray에서 밀도의 엔트로피 제약을 부과하여 불충분한 관점으로 인해 발생하는 잠재적인 재구성 불일치를 최소화한다. 또한 모든 학습 이미지가 거의 중복된 관점에서 획득될 때 잠재적인 퇴보 문제를 완화하기 위해, 우리는 관점이 약간 다른 추가 ray의 정보 이득을 제한하여 공간 평활도 제약을 추정된 이미지에 추가로 통합한다. 우리 알고리즘의 주요 아이디어는 재구성된 장면을 개별 r..

NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields Lin Yen-Chen, Pete Florence, Jonathan T. Barron, Tsung-Yi Lin, Alberto Rodriguez, Phillip Isola Abstract 포크나 휘스크와 같은 얇고 반사적인 물체는 우리 일상생활에서 흔히 볼 수 있지만, 일반 RGB-D 카메라나 멀티뷰 스테레오 기법을 사용해 재구성하기 어렵기 때문에 로봇 인식에 특히 도전적이다. 기존 파이프라인이 이와 같은 물체로 어려움을 겪는 반면, Neural Radiance Fields (NeRF)은 최근 얇은 구조나 반사 물질을 가진 물체에 대해 뷰 합성을 수행하는 데 현저..

Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images Asra Aslam, Mohd. Samar Ansari Abstract 현대 멀티미디어 콘텐츠 생성 및 보급은 점점 더 '현실적인' 시나리오를 제시하는 방향으로 나아가고 있다. 2차원(2D)에서 3차원(3D)으로의 전환은 이러한 방향으로의 주요 원동력이 되었습니다. 최근 들어 3D 이미지/비디오를 만들기 위한 수많은 접근 방식이 제안되었으며, 대부분은 depth 맵의 생성을 기반으로 한다. 이 논문은 사용 가능한 한 쌍의 입체 이미지에서 묘사된 장면과 관련된 depth 정보를 얻기 위한 새로운 알고리즘을 제시한다. 제안된 알고리즘은 depth 추정을 위해 스테레오 쌍의 두 이..

Depth-supervised NeRF: Fewer Views and Faster Training for Free Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan Abstract Neural Radiance Field (NeRF) 모델의 일반적인 실패 모드 중 하나는 입력 뷰 수가 충분하지 않을 때 잘못된 지오메트리를 적합시키는 것이다. 우리는 쉽게 이용할 수 있는 depth supervision을 활용하는 neural radiance field를 학습하기 위한 loss인 DS-NeRF (Depth-supervised Neural Radience Fields)를 제안한다. 우리의 핵심 통찰력은 희박한 depth supervision이 NeRF를 사용하여 새로운 ..

SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image Dejia Xu, Yifan Jiang, Peihao Wang, Zhiwen Fan, Humphrey Shi, Zhangyang Wang Abstract Neural Radience Field (NeRF)의 빠른 개발에도 불구하고, 고밀도 커버의 필요성은 더 넓은 적용을 크게 금지한다. 최근 몇 가지 작업이 이 문제를 해결하려고 시도했지만, 희소 뷰(그래도 일부) 또는 간단한 객체/장면에서 작동한다. 이 연구에서 우리는 보다 야심찬 작업을 고려한다: "looking only once"를 통해 현실적으로 복잡한 시각적 장면에서 신경 방사장을 학습하는 것이다. 이 목표..

IBRNet: Learning Multi-View Image-Based Rendering Qianqian Wang, Zhicheng Wang, Kyle Genova, Pratul Srinivasan, Howard Zhou, Jonathan T. Barron, Ricardo Martin-Brualla, Noah Snavely, Thomas Funkhouser Abstract 우리는 가까운 뷰의 희박한 세트를 보간하여 복잡한 장면의 새로운 뷰를 합성하는 방법을 제시한다. 우리 방법의 핵심은 연속된 5D 위치(3D 공간 위치 및 2D 뷰 방향)에서 radiance와 부피 밀도를 추정하는 다층 퍼셉트론과 ray 트랜스포머를 포함하는 네트워크 아키텍처로, 여러 소스 뷰에서 즉시 외관 정보를 그린다. 렌더링 시 소..