DiffRF: Rendering-Guided 3D Radiance Field Diffusion Norman M¨uller, Yawar Siddiqui, Lorenzo Porzi, Samuel Rota Bul`o, Peter Kontschieder, Matthias Nießner Abstract denoising diffusion probabilistic models을 기반으로 한 3D radiance field 합성을 위한 새로운 접근법인 DiffRF를 소개한다. 기존 diffusion 기반 방법은 이미지, 잠재 코드 또는 포인트 클라우드 데이터에서 작동하지만, 부피 radiance fields를 직접 생성한 것은 우리가 처음이다. 이를 위해 명시적 복셀 그리드 표현에서 직접 작동하는 3D 디노이징 모델..

GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields Michael Niemeyer, Andreas Geiger Abstract 심층 생성 모델은 고해상도에서 사진사실적인 이미지 합성을 가능하게 한다. 그러나 많은 애플리케이션의 경우 이만으로는 충분하지 않습니다: 콘텐츠 제작 또한 제어 가능해야 합니다. 최근 여러 연구에서 데이터 변동의 근본적인 요인을 분리하는 방법을 조사하고 있지만 대부분 2D로 작동하므로 우리 세계가 3차원이라는 것을 무시한다. 또한 장면의 구성적 특성을 고려한 작품은 거의 없다. 우리의 핵심 가설은 구성적인 3D 장면 표현을 생성 모델에 통합하면 더 제어 가능한 이미지 합성으로 이어진다는 것이다..

GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis Katja Schwarz, Yiyi Liao, Michael Niemeyer, Andreas Geiger Abstract 2D 생성 적대적 네트워크는 고해상도 이미지 합성을 가능하게 했지만, 3D 세계와 이미지 형성 과정에 대한 이해가 크게 부족하다. 따라서 카메라 시점이나 물체 포즈를 정확하게 제어하지 못한다. 이 문제를 해결하기 위해 최근 몇 가지 접근법은 미분 가능한 렌더링과 함께 중간 복셀 기반 표현을 활용한다. 그러나 기존 방법은 낮은 이미지 해상도를 생성하거나 카메라 및 장면 속성을 분리하는 데 부족하다, 예를 들어 객체 ID는 관점에 따라 달라질 수 있다. 본 논문에서는 단일 장면의..

Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis Ajay Jain, Matthew Tancik, Pieter Abbeel Abstract 우리는 몇 가지 이미지에서 추정된 3D 신경 장면 표현인 DietNeRF를 제시한다. Neural Radiance Fields (NeRF)는 다중 뷰 일관성을 통해 장면의 연속적인 체적 표현을 학습하고, 레이 캐스팅을 통해 새로운 관점에서 렌더링할 수 있다. NeRF는 360˚의 까다로운 장면을 위해 최대 100개의 이미지를 포함한 많은 이미지를 통해 기하학적 구조와 세부 사항을 재구성할 수 있는 인상적인 능력을 가지고 있지만, 종종 몇 개의 입력 뷰만 사용할 수 있을 때 이미지 재구성 목..

GAUDI: A Neural Architect for Immersive 3D Scene Generation Miguel Angel Bautista, Pengsheng Guo, Samira Abnar, Walter Talbott, Alexander Toshev, Zhuoyuan Chen, Laurent Dinh , Shuangfei Zhai, Hanlin Goh, Daniel Ulbricht, Afshin Dehghan, Josh Susskind Abstract 우리는 움직이는 카메라에서 몰입적으로 렌더링할 수 있는 복잡하고 현실적인 3D 장면의 분포를 캡처할 수 있는 생성 모델인 GAUDI를 소개한다. 우리는 확장 가능하면서도 강력한 접근 방식으로 이 어려운 문제를 해결한다, 여기서 우리는 먼저 radi..

GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images Jun Gao, Tianchang Shen, Zian Wang, Wenzheng Chen, Kangxue Yin, Daiqing Li, Or Litany, Zan Gojcic, Sanja Fidler Abstract 여러 산업이 대규모 3D 가상 세계를 모델링하는 방향으로 나아감에 따라 3D 콘텐츠의 양, 품질 및 다양성 측면에서 확장할 수 있는 콘텐츠 생성 도구의 필요성이 분명해지고 있습니다. 우리 연구에서는 3D 렌더링 엔진이 직접 소비할 수 있는 질감 있는 메시를 합성하여 다운스트림 애플리케이션에서 즉시 사용할 수 있는 성능 3D 생성 모델을 학습하는 것을..