DreamFusion: Text-to-3D using 2D Diffusion Ben Poole, Ajay Jain, Jonathan T. Barron, Ben Mildenhall Abstract text-to-image 합성의 최근 돌파구는 수십억 개의 image-text 쌍에 대해 학습된 diffusion 모델에 의해 주도되었다. 이 접근 방식을 3D 합성에 적응하려면 레이블이 지정된 3D 데이터의 대규모 데이터 세트와 디노이징 3D 데이터를 위한 효율적인 아키텍처가 필요한데, 현재 이 두 가지 모두 존재하지 않는다. 본 연구에서는 사전 학습된 2D text-to-image diffusion 모델을 사용하여 text-to-3D 합성을 수행함으로써 이러한 한계를 극복한다. 우리는 파라메트릭 이미지 생성기..

InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering Mijeong Kim, Seonguk Seo, Bohyung Han Abstract 신경 암묵적 표현을 기반으로 한 퓨샷 새로운 뷰 합성을 위한 정보 이론적 정규화 기법을 제시한다. 제안된 접근 방식은 각 ray에서 밀도의 엔트로피 제약을 부과하여 불충분한 관점으로 인해 발생하는 잠재적인 재구성 불일치를 최소화한다. 또한 모든 학습 이미지가 거의 중복된 관점에서 획득될 때 잠재적인 퇴보 문제를 완화하기 위해, 우리는 관점이 약간 다른 추가 ray의 정보 이득을 제한하여 공간 평활도 제약을 추정된 이미지에 추가로 통합한다. 우리 알고리즘의 주요 아이디어는 재구성된 장면을 개별 r..

NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance Fields Lin Yen-Chen, Pete Florence, Jonathan T. Barron, Tsung-Yi Lin, Alberto Rodriguez, Phillip Isola Abstract 포크나 휘스크와 같은 얇고 반사적인 물체는 우리 일상생활에서 흔히 볼 수 있지만, 일반 RGB-D 카메라나 멀티뷰 스테레오 기법을 사용해 재구성하기 어렵기 때문에 로봇 인식에 특히 도전적이다. 기존 파이프라인이 이와 같은 물체로 어려움을 겪는 반면, Neural Radiance Fields (NeRF)은 최근 얇은 구조나 반사 물질을 가진 물체에 대해 뷰 합성을 수행하는 데 현저..

Depth-Map Generation using Pixel Matching in Stereoscopic Pair of Images Asra Aslam, Mohd. Samar Ansari Abstract 현대 멀티미디어 콘텐츠 생성 및 보급은 점점 더 '현실적인' 시나리오를 제시하는 방향으로 나아가고 있다. 2차원(2D)에서 3차원(3D)으로의 전환은 이러한 방향으로의 주요 원동력이 되었습니다. 최근 들어 3D 이미지/비디오를 만들기 위한 수많은 접근 방식이 제안되었으며, 대부분은 depth 맵의 생성을 기반으로 한다. 이 논문은 사용 가능한 한 쌍의 입체 이미지에서 묘사된 장면과 관련된 depth 정보를 얻기 위한 새로운 알고리즘을 제시한다. 제안된 알고리즘은 depth 추정을 위해 스테레오 쌍의 두 이..

Depth-supervised NeRF: Fewer Views and Faster Training for Free Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan Abstract Neural Radiance Field (NeRF) 모델의 일반적인 실패 모드 중 하나는 입력 뷰 수가 충분하지 않을 때 잘못된 지오메트리를 적합시키는 것이다. 우리는 쉽게 이용할 수 있는 depth supervision을 활용하는 neural radiance field를 학습하기 위한 loss인 DS-NeRF (Depth-supervised Neural Radience Fields)를 제안한다. 우리의 핵심 통찰력은 희박한 depth supervision이 NeRF를 사용하여 새로운 ..

SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image Dejia Xu, Yifan Jiang, Peihao Wang, Zhiwen Fan, Humphrey Shi, Zhangyang Wang Abstract Neural Radience Field (NeRF)의 빠른 개발에도 불구하고, 고밀도 커버의 필요성은 더 넓은 적용을 크게 금지한다. 최근 몇 가지 작업이 이 문제를 해결하려고 시도했지만, 희소 뷰(그래도 일부) 또는 간단한 객체/장면에서 작동한다. 이 연구에서 우리는 보다 야심찬 작업을 고려한다: "looking only once"를 통해 현실적으로 복잡한 시각적 장면에서 신경 방사장을 학습하는 것이다. 이 목표..