On Distillation of Guided Diffusion Models Chenlin Meng, Robin Rombach, Ruiqi Gao, Diederik Kingma, Stefano Ermon, Jonathan Ho, Tim Salimans Abstract Classifier-free guided diffusion 모델은 최근 고해상도 이미지 생성에 매우 효과적인 것으로 나타났으며 DALL·E2, Stable Diffusion 및 Imagen을 포함한 대규모 diffusion 프레임워크에서 널리 사용되고 있습니다. 그러나 classifier-free guided diffusion 모델의 단점은 클래스-조건적 모델과 무조건적 모델이라는 두 가지 diffusion 모델을 수십에서 수백 번 평가해야..

GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models Alex Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, Mark Chen Abstract Diffusion 모델은 최근 고품질 합성 이미지를 생성하는 것으로 나타났는데, 특히 충실도를 위해 다양성을 절충하는 지침 기술과 결합할 때 그렇습니다. 텍스트-조건적 이미지 합성 문제에 대한 diffusion 모델을 탐색하고 두 가지 다른 지침 전략을 비교합니다: CLIP 지침 및 classifier-free 지침. 우리..

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation Nataniel Ruiz, Yuanzhen Li, Varun Jampani, Yael Pritch, Michael Rubinstein, Kfir Aberman Abstract 대규모 text-to-image 모델은 AI의 진화에서 괄목할 만한 도약을 달성하여 주어진 텍스트 프롬프트에서 고품질의 다양한 이미지 합성을 가능하게 했습니다. 그러나 이러한 모델은 주어진 참조 집합에서 subject의 외관을 모방하고 다른 맥락에서 subject의 새로운 버전을 합성할 수 있는 능력이 부족합니다. 이 연구에서, 우리는 text-to-image 디퓨전 모델의 "per..

Deep Unsupervised Learning using Nonequilibrium Thermodynamics Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, Surya Ganguli Abstract 머신러닝의 중심 문제는 학습, 샘플링, 추론 및 평가가 여전히 분석적 또는 계산적으로 다루기 쉬운 매우 유연한 확률 분포 계열을 사용하여 복잡한 데이터 세트를 모델링하는 것이다. 여기서, 우리는 유연성과 추적성을 동시에 달성하는 접근법을 개발한다. 비평형 통계 물리학에서 영감을 받은 본질적인 아이디어는 반복적인 forward diffusion 과정을 통해 데이터 분포의 구조를 체계적으로 천천히 파괴하는 것이다. 그런 다음 데이터의 구조를 복원하여 ..

Generative Modeling by Estimating Gradients of the Data Distribution Yang Song, Stefano Ermon Abstract score matching으로 추정된 데이터 분포의 그레디언트를 사용하여 Langevin dynamics을 통해 샘플이 생성되는 새로운 생성 모델을 소개한다. 그레디언트는 데이터가 저차원 매니폴드에 상주할 때 잘못 정의되고 추정하기 어려울 수 있기 때문에, 우리는 다른 레벨의 가우시안 노이즈로 데이터를 섭동시키고 해당 score, 즉 모든 노이즈 레벨에 대한 섭동된 데이터 분포의 벡터 필드를 jointly 추정한다. 샘플링을 위해 샘플링 프로세스가 데이터 매니폴드에 가까워질수록 점차 감소하는 노이즈 레벨에 해당하는 그레디언..

Diffusion Models Beat GANs on Image Synthesis Prafulla Dhariwal, Alex Nichol Abstract 우리는 diffusion 모델이 현재의 SOTA 생성 모델보다 우수한 이미지 샘플 품질을 달성할 수 있음을 보여준다. 우리는 일련의 ablations를 통해 더 나은 아키텍처를 찾아 무조건적 이미지 합성에서 이를 달성한다. 조건적 이미지 합성을 위해 classifier guidance를 통해 샘플 품질을 추가로 개선한다: classifier의 그레디언트를 사용하여 충실도를 위해 다양성을 교환하는 간단하고 계산 효율적인 방법. 우리는 ImageNet 128x128에서 2.97, ImageNet 256x256에서 4.59, ImageNet 512x512에서..