On Distillation of Guided Diffusion Models Chenlin Meng, Robin Rombach, Ruiqi Gao, Diederik Kingma, Stefano Ermon, Jonathan Ho, Tim Salimans Abstract Classifier-free guided diffusion 모델은 최근 고해상도 이미지 생성에 매우 효과적인 것으로 나타났으며 DALL·E2, Stable Diffusion 및 Imagen을 포함한 대규모 diffusion 프레임워크에서 널리 사용되고 있습니다. 그러나 classifier-free guided diffusion 모델의 단점은 클래스-조건적 모델과 무조건적 모델이라는 두 가지 diffusion 모델을 수십에서 수백 번 평가해야..

Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors Guocheng Qian, Jinjie Mai, Abdullah Hamdi, Jian Ren, Aliaksandr Siarohin, Bing Li, Hsin-Ying Lee, Ivan Skorokhodov, PeterWonka, Sergey Tulyakov, Bernard Ghanem Abstract 우리는 2D 및 3D priors의 이미지를 모두 사용하여 야생에서 배치되지 않은 단일 이미지에서 고품질의 질감의 3D 메시 생성을 위한 2단계 coarse-to-fine 접근법인 "Magic123"을 제시합니다. 첫 번째 단계에서, 우리는..

DynIBaR: Neural Dynamic Image-Based Rendering Zhengqi Li, Qianqian Wang, Forrester Cole, Richard Tucker, Noah Snavely Abstract 우리는 복잡한 동적 장면을 묘사하는 단안 비디오에서 새로운 뷰를 합성하는 문제를 해결합니다. 시간적으로 변화하는 Neural Radiance Fields(일명 dynamic NeRFs)를 기반으로 하는 SOTA 방법은 이 작업에서 인상적인 결과를 보여주었습니다. 그러나 복잡한 객체 모션과 제어되지 않은 카메라 궤적이 있는 긴 비디오의 경우 이러한 방법은 블러하거나 부정확한 렌더링을 생성하여 실제 응용 프로그램에서 사용을 방해할 수 있습니다. MLP의 가중치 내에서 전체 동적 장면을..

MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields Jaeyoung Chung, Kanggeon Lee, Sungyong Baik, Kyoung Mu Lee Abstract 신경망의 표현력에 의존하는 neural radiance fields (NeRF)는 최근 3D 객체 및 장면 표현에 대해 유망하고 널리 적용 가능한 방법 중 하나로 부상했습니다. 그러나 NeRF는 데이터를 순차적으로 처리해야 하는 대규모 장면 및 메모리 양이 제한된 에지 장치와 같은 실용적인 응용 분야에서 과제에 직면해 있습니다. 이러한 점진적인 학습 시나리오에서 신경망은 치명적인 망각을 겪는 것으로 알려져 있습니다: 새로운 데이터로 학습을 받은 후 이전..

GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models Alex Nichol, Prafulla Dhariwal, Aditya Ramesh, Pranav Shyam, Pamela Mishkin, Bob McGrew, Ilya Sutskever, Mark Chen Abstract Diffusion 모델은 최근 고품질 합성 이미지를 생성하는 것으로 나타났는데, 특히 충실도를 위해 다양성을 절충하는 지침 기술과 결합할 때 그렇습니다. 텍스트-조건적 이미지 합성 문제에 대한 diffusion 모델을 탐색하고 두 가지 다른 지침 전략을 비교합니다: CLIP 지침 및 classifier-free 지침. 우리..

DreamBooth3D: Subject-Driven Text-to-3D Generation Amit Raj, Srinivas Kaza, Ben Poole, Michael Niemeyer, Nataniel Ruiz, Ben Mildenhall, Shiran Zada, Kfir Aberman, Michael Rubinstein, Jonathan Barron, Yuanzhen Li, Varun Jampani Abstract 우리는 대상의 3-6개의 무심코 캡처한 이미지에서 text-to-3D 생성 모델로 개인화하는 접근법인 DreamBooth 3D를 제시합니다. 우리의 접근 방식은 text-to-image 모델(DreamBooth)을 개인화하는 최근의 발전과 text-to-3D 생성(DreamFusion)을 ..