Diffusion Models Beat GANs on Image Synthesis Prafulla Dhariwal, Alex Nichol Abstract 우리는 diffusion 모델이 현재의 SOTA 생성 모델보다 우수한 이미지 샘플 품질을 달성할 수 있음을 보여준다. 우리는 일련의 ablations를 통해 더 나은 아키텍처를 찾아 무조건적 이미지 합성에서 이를 달성한다. 조건적 이미지 합성을 위해 classifier guidance를 통해 샘플 품질을 추가로 개선한다: classifier의 그레디언트를 사용하여 충실도를 위해 다양성을 교환하는 간단하고 계산 효율적인 방법. 우리는 ImageNet 128x128에서 2.97, ImageNet 256x256에서 4.59, ImageNet 512x512에서..

Denoising Diffusion Probabilistic Models Jonathan Ho, Ajay Jain, Pieter Abbeel Abstract 우리는 비평형 열역학의 고려 사항에서 영감을 받은 잠재 변수 모델의 클래스인 diffusion 확률 모델을 사용하여 고품질 이미지 합성 결과를 제시한다. 우리의 최상의 결과는 diffusion 확률 모델과 Langevin dynamics와의 denoising score matching 사이의 새로운 연결에 따라 설계된 가중 변동 경계에 대한 학습을 통해 얻어지며, 우리의 모델은 자연스럽게 자기 회귀 디코딩의 일반화로 해석될 수 있는 점진적 lossy 압축 체계를 인정한다. 무조건적 CIFAR10 데이터 세트에서 Inception score 9.46과..

Depth-supervised NeRF: Fewer Views and Faster Training for Free Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan Abstract 일반적으로 관찰되는 Neural Radiance Field (NeRF)의 실패 모드는 입력 뷰의 수가 충분하지 않을 때 잘못된 기하학적 구조를 맞추는 것이다. 한 가지 잠재적인 이유는 표준 볼륨 렌더링이 장면 기하학의 대부분이 빈 공간과 불투명한 표면으로 구성된다는 제약을 적용하지 않기 때문이다. 우리는 쉽게 이용할 수 있는 depth supervision을 활용하는 radiance field 분야의 loss인 DS-NeRF(Depth-Supervised Neural Radiance F..

Reinforcement Learning with Neural Radiance Fields Danny Driess, Ingmar Schubert, Pete Florence, Yunzhu Li, Marc Toussaint Abstract 강화 학습(RL) agent를 학습하기 위한 효과적인 표현을 찾는 것은 오랜 문제이다. 이 논문은 Neural Radiance Fields (NeRFs)의 supervision을 통해 state 표현을 학습하면 다른 학습된 표현이나 심지어 저차원 수동 엔지니어링 state 정보에 비해 RL의 성능을 향상시킬 수 있음을 보여준다. 구체적으로, 우리는 장면의 물체를 설명하는 latent space에 여러 이미지 관찰을 매핑하는 encoder를 학습시킬 것을 제안한다. late..

Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding Chitwan Saharia, William Chan, Saurabh Saxenay, Lala Liy, Jay Whangy, Emily Denton, Seyed Kamyar Seyed Ghasemipour, Burcu Karagol Ayan, S. Sara Mahdavi, Rapha Gontijo Lopes, Tim Salimans, Jonathan Hoy, David J Fleety, Mohammad Norouzi Abstract 우리는 전례 없는 수준의 사진사실주의와 깊은 언어 이해도를 가진 text-to-image 확산 모델인 Imagen을 제시한다. Imag..

Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, Peter Hedman Abstract Neural Radiance Fields (NeRF)은 물체와 공간의 작은 경계 영역에서 인상적인 뷰 합성 결과를 보여주었지만, 카메라가 임의의 방향을 가리키고 콘텐츠가 임의의 거리에 존재할 수 있는 "unbounded" 장면에서 어려움을 겪는다. 이 설정에서 기존 NeRF-like 모델은 종종 블러하거나 저해상도 렌더링을 생성하며(근처와 먼 물체의 불균형 세부 사항과 규모로 인해) 학습 속도가 느리고 작은 이미지 세트에서 큰 장면을 재..