Magic3D: High-Resolution Text-to-3D Content Creation Chen-Hsuan Lin, Jun Gao, Luming Tang, Towaki Takikawa, Xiaohui Zeng, Xun Huang, Karsten Kreis, Sanja Fidler, Ming-Yu Liu, Tsung-Yi Lin Abstract DreamFusion [33]은 최근 Neural Radiance Fields (NeRF)[25]를 최적화하기 위해 사전 학습된 text-to-image diffusion 모델의 유용성을 입증하여 주목할 만한 text-to-3D 합성 결과를 달성했습니다. 그러나 이 방법에는 두 가지 고유한 한계가 있습니다: (a) NeRF의 극도로 느린 최적화와 (b) Ne..

Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa Abstract 텍스트 명령으로 NeRF 장면을 편집하는 방법을 제안합니다. 장면의 NeRF와 이를 재구성하는 데 사용된 이미지 모음을 고려할 때, 우리의 방법은 이미지 조건 diffusion 모델(InstructPix2Pix)을 사용하여 기본 장면을 최적화하면서 입력 이미지를 반복 편집하여 편집 명령을 존중하는 최적화된 3D 장면을 생성합니다. 우리는 제안된 방법이 대규모의 실제 장면을 편집할 수 있으며 이전 작업보다 더 현실적이고 타겟화된 편집을 수행할 수..

D-NeRF: Neural Radiance Fields for Dynamic Scenes Albert Pumarola, Enric Corona, Gerard Pons-Moll, Francesc Moreno-Noguer Abstract 머신러닝과 기하학적 추론을 결합한 신경 렌더링 기술은 희소한 이미지 집합에서 장면의 새로운 뷰를 합성하기 위한 가장 유망한 접근법 중 하나로 부상했습니다. 이 중에서도 5D 입력 좌표(공간 위치 및 뷰 방향을 나타내는)를 볼륨 밀도와 뷰에 의존하는 방출된 radiance로 매핑하도록 심층 네트워크를 학습시키는 Neural radiance fields (NeRF) [31]가 눈에 띕니다. 그러나 생성된 이미지에서 전례 없는 수준의 포토리얼리즘을 달성했음에도 불구하고 NeRF는..

Instant Neural Graphics Primitives with a Multiresolution Hash Encoding Thomas Müller, Alex Evans, Christoph Schied, Alexander Keller Abstract fully connected neural networks에 의해 매개 변수화된 신경망 그래픽 프리미티브는 학습 및 평가에 많은 비용이 들 수 있습니다. 우리는 품질을 희생하지 않고 더 작은 네트워크를 사용할 수 있도록 하는 다용도의 새로운 입력 인코딩으로 이 비용을 절감하여 부동 소수점 및 메모리 액세스 작업의 수를 크게 줄입니다: 작은 신경망은 확률적 그래디언트 강하를 통해 값이 최적화된 학습 가능한 피쳐 벡터의 다중 해상도 해시 테이블에 의해 증강됩..

Zero-1-to-3: Zero-shot One Image to 3D Object Ruoshi Liu, Rundi Wu, Basile Van Hoorick, Pavel Tokmakov, Sergey Zakharov, Carl Vondrick Abstract 우리는 단일 RGB 이미지만 주어진 객체의 카메라 시점을 변경하기 위한 프레임워크인 Zero-1-to-3을 소개합니다. 이러한 제약이 적은 환경에서 새로운 뷰 합성을 수행하기 위해 대규모 디퓨전 모델이 자연 이미지에 대해 학습하는 기하학적 priors를 활용합니다. 우리의 조건적 디퓨전 모델은 합성 데이터 세트를 사용하여 상대적 카메라 관점의 제어를 학습하여, 이를 통해 지정된 카메라 변환 하에서 동일한 개체의 새로운 이미지를 생성할 수 있습니다. 합..

On Distillation of Guided Diffusion Models Chenlin Meng, Robin Rombach, Ruiqi Gao, Diederik Kingma, Stefano Ermon, Jonathan Ho, Tim Salimans Abstract Classifier-free guided diffusion 모델은 최근 고해상도 이미지 생성에 매우 효과적인 것으로 나타났으며 DALL·E2, Stable Diffusion 및 Imagen을 포함한 대규모 diffusion 프레임워크에서 널리 사용되고 있습니다. 그러나 classifier-free guided diffusion 모델의 단점은 클래스-조건적 모델과 무조건적 모델이라는 두 가지 diffusion 모델을 수십에서 수백 번 평가해야..