Deep Unsupervised Learning using Nonequilibrium Thermodynamics Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, Surya Ganguli Abstract 머신러닝의 중심 문제는 학습, 샘플링, 추론 및 평가가 여전히 분석적 또는 계산적으로 다루기 쉬운 매우 유연한 확률 분포 계열을 사용하여 복잡한 데이터 세트를 모델링하는 것이다. 여기서, 우리는 유연성과 추적성을 동시에 달성하는 접근법을 개발한다. 비평형 통계 물리학에서 영감을 받은 본질적인 아이디어는 반복적인 forward diffusion 과정을 통해 데이터 분포의 구조를 체계적으로 천천히 파괴하는 것이다. 그런 다음 데이터의 구조를 복원하여 ..

RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation Titas Anciukeviˇcius, Zexiang Xu, Matthew Fisher, Paul Henderson, Hakan Bilen, Niloy J. Mitra, Paul Guerrero Abstract Diffusion 모델은 현재 조건적 및 무조건적 이미지 생성 모두에서 SOTA 성능을 달성한다. 그러나 지금까지 이미지 diffusion 모델은 뷰 일관성 있는 3D 생성 또는 단일 뷰 객체 재구성과 같은 3D 이해에 필요한 작업을 지원하지 않는다. 본 논문에서는 단안 2D supervision만을 사용하여 학습할 수 있는 3D 생성 및 추론을 위한 ..

DiffRF: Rendering-Guided 3D Radiance Field Diffusion Norman M¨uller, Yawar Siddiqui, Lorenzo Porzi, Samuel Rota Bul`o, Peter Kontschieder, Matthias Nießner Abstract denoising diffusion probabilistic models을 기반으로 한 3D radiance field 합성을 위한 새로운 접근법인 DiffRF를 소개한다. 기존 diffusion 기반 방법은 이미지, 잠재 코드 또는 포인트 클라우드 데이터에서 작동하지만, 부피 radiance fields를 직접 생성한 것은 우리가 처음이다. 이를 위해 명시적 복셀 그리드 표현에서 직접 작동하는 3D 디노이징 모델..

GIRAFFE: Representing Scenes as Compositional Generative Neural Feature Fields Michael Niemeyer, Andreas Geiger Abstract 심층 생성 모델은 고해상도에서 사진사실적인 이미지 합성을 가능하게 한다. 그러나 많은 애플리케이션의 경우 이만으로는 충분하지 않습니다: 콘텐츠 제작 또한 제어 가능해야 합니다. 최근 여러 연구에서 데이터 변동의 근본적인 요인을 분리하는 방법을 조사하고 있지만 대부분 2D로 작동하므로 우리 세계가 3차원이라는 것을 무시한다. 또한 장면의 구성적 특성을 고려한 작품은 거의 없다. 우리의 핵심 가설은 구성적인 3D 장면 표현을 생성 모델에 통합하면 더 제어 가능한 이미지 합성으로 이어진다는 것이다..

GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis Katja Schwarz, Yiyi Liao, Michael Niemeyer, Andreas Geiger Abstract 2D 생성 적대적 네트워크는 고해상도 이미지 합성을 가능하게 했지만, 3D 세계와 이미지 형성 과정에 대한 이해가 크게 부족하다. 따라서 카메라 시점이나 물체 포즈를 정확하게 제어하지 못한다. 이 문제를 해결하기 위해 최근 몇 가지 접근법은 미분 가능한 렌더링과 함께 중간 복셀 기반 표현을 활용한다. 그러나 기존 방법은 낮은 이미지 해상도를 생성하거나 카메라 및 장면 속성을 분리하는 데 부족하다, 예를 들어 객체 ID는 관점에 따라 달라질 수 있다. 본 논문에서는 단일 장면의..

Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis Ajay Jain, Matthew Tancik, Pieter Abbeel Abstract 우리는 몇 가지 이미지에서 추정된 3D 신경 장면 표현인 DietNeRF를 제시한다. Neural Radiance Fields (NeRF)는 다중 뷰 일관성을 통해 장면의 연속적인 체적 표현을 학습하고, 레이 캐스팅을 통해 새로운 관점에서 렌더링할 수 있다. NeRF는 360˚의 까다로운 장면을 위해 최대 100개의 이미지를 포함한 많은 이미지를 통해 기하학적 구조와 세부 사항을 재구성할 수 있는 인상적인 능력을 가지고 있지만, 종종 몇 개의 입력 뷰만 사용할 수 있을 때 이미지 재구성 목..