Depth-supervised NeRF: Fewer Views and Faster Training for Free Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan Abstract 일반적으로 관찰되는 Neural Radiance Field (NeRF)의 실패 모드는 입력 뷰의 수가 충분하지 않을 때 잘못된 기하학적 구조를 맞추는 것이다. 한 가지 잠재적인 이유는 표준 볼륨 렌더링이 장면 기하학의 대부분이 빈 공간과 불투명한 표면으로 구성된다는 제약을 적용하지 않기 때문이다. 우리는 쉽게 이용할 수 있는 depth supervision을 활용하는 radiance field 분야의 loss인 DS-NeRF(Depth-Supervised Neural Radiance F..

Reinforcement Learning with Neural Radiance Fields Danny Driess, Ingmar Schubert, Pete Florence, Yunzhu Li, Marc Toussaint Abstract 강화 학습(RL) agent를 학습하기 위한 효과적인 표현을 찾는 것은 오랜 문제이다. 이 논문은 Neural Radiance Fields (NeRFs)의 supervision을 통해 state 표현을 학습하면 다른 학습된 표현이나 심지어 저차원 수동 엔지니어링 state 정보에 비해 RL의 성능을 향상시킬 수 있음을 보여준다. 구체적으로, 우리는 장면의 물체를 설명하는 latent space에 여러 이미지 관찰을 매핑하는 encoder를 학습시킬 것을 제안한다. late..

Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, Peter Hedman Abstract Neural Radiance Fields (NeRF)은 물체와 공간의 작은 경계 영역에서 인상적인 뷰 합성 결과를 보여주었지만, 카메라가 임의의 방향을 가리키고 콘텐츠가 임의의 거리에 존재할 수 있는 "unbounded" 장면에서 어려움을 겪는다. 이 설정에서 기존 NeRF-like 모델은 종종 블러하거나 저해상도 렌더링을 생성하며(근처와 먼 물체의 불균형 세부 사항과 규모로 인해) 학습 속도가 느리고 작은 이미지 세트에서 큰 장면을 재..

InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering Mijeong Kim, Seonguk Seo, Bohyung Han Abstract 신경 암묵적 표현을 기반으로 한 퓨샷 새로운 뷰 합성을 위한 정보 이론적 정규화 기법을 제시한다. 제안된 접근 방식은 각 ray에서 밀도의 엔트로피 제약을 부과하여 불충분한 관점으로 인해 발생하는 잠재적인 재구성 불일치를 최소화한다. 또한 모든 학습 이미지가 거의 중복된 관점에서 획득될 때 잠재적인 퇴보 문제를 완화하기 위해, 우리는 관점이 약간 다른 추가 ray의 정보 이득을 제한하여 공간 평활도 제약을 추정된 이미지에 추가로 통합한다. 우리 알고리즘의 주요 아이디어는 재구성된 장면을 개별 r..

NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields Lin Yen-Chen, Pete Florence, Jonathan T. Barron, Tsung-Yi Lin, Alberto Rodriguez, Phillip Isola Abstract 포크나 휘스크와 같은 얇고 반사적인 물체는 우리 일상생활에서 흔히 볼 수 있지만, 일반 RGB-D 카메라나 멀티뷰 스테레오 기법을 사용해 재구성하기 어렵기 때문에 로봇 인식에 특히 도전적이다. 기존 파이프라인이 이와 같은 물체로 어려움을 겪는 반면, Neural Radiance Fields (NeRF)은 최근 얇은 구조나 반사 물질을 가진 물체에 대해 뷰 합성을 수행하는 데 현저..

Depth-supervised NeRF: Fewer Views and Faster Training for Free Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan Abstract Neural Radiance Field (NeRF) 모델의 일반적인 실패 모드 중 하나는 입력 뷰 수가 충분하지 않을 때 잘못된 지오메트리를 적합시키는 것이다. 우리는 쉽게 이용할 수 있는 depth supervision을 활용하는 neural radiance field를 학습하기 위한 loss인 DS-NeRF (Depth-supervised Neural Radience Fields)를 제안한다. 우리의 핵심 통찰력은 희박한 depth supervision이 NeRF를 사용하여 새로운 ..