4D-fy: Text-to-4D Generation Using Hybrid Score Distillation Sampling Sherwin Bahmani, Ivan Skorokhodov, Victor Rong, Gordon Wetzstein, Leonidas Guibas, Peter Wonka, Sergey Tulyakov, Jeong Joon Park, Andrea Tagliasacchi, David B. Lindell Abstract 최근 text-to-4D 생성의 획기적인 발전은 사전 학습된 text-to-image 및 text-to-video 모델에 의존하여 동적 3D 장면을 생성합니다. 그러나 현재의 text-to-4D 방법은 장면 외관의 품질, 3D 구조 및 모션 사이에서 3자 균형에 직면해 ..

GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models Taoran Yi, Jiemin Fang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang Abstract 최근에는 텍스트 프롬프트에서 3D 자산을 생성하는 것이 인상적인 결과를 보여주었습니다. 2D 및 3D 디퓨전 모델은 모두 프롬프트를 기반으로 괜찮은 3D 객체를 생성하는 데 도움이 될 수 있습니다. 3D 디퓨전 모델은 3D 일관성은 좋지만 학습 가능한 3D 데이터가 비싸고 얻기 어렵기 때문에 품질과 일반화에 한계가 있습니다. 2D 디퓨전 모델은..

One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View   Generation and 3D Diffusion Minghua Liu, Ruoxi Shi, Linghao Chen, Zhuoyang Zhang, Chao Xu, Xinyue Wei, Hansheng Chen, Chong Zeng, Jiayuan Gu, Hao Su Abstractimage-to-3D 방법은 text-to-3D 대응물에 대한 탁월한 세밀한 제어를 제공하며 open-world 3D 객체 생성의 최근 발전은 두드러졌습니다. 그러나 대부분의 기존 모델은 빠른 생성 속도와 입력 이미지에 대한 높은 충실도를 동시에 제공하는 데 부족합니다 - 실제 적용에 ..

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization Minghua Liu, Chao Xu, Haian Jin, Linghao Chen, Mukund Varma T, Zexiang Xu, Hao Su Abstract 단일 이미지 3D 재구성은 자연계에 대한 광범위한 지식을 필요로 하는 중요하지만 어려운 작업입니다. 기존의 많은 방법들은 2D 디퓨전 모델의 가이던스에 따라 neural radiance field를 최적화하여 이 문제를 해결하지만, 긴 최적화 시간, 3D 불일치 결과 및 좋지 않은 지오메트리로 인해 어려움을 겪습니다. 본 연구에서는 모든 객체의 단일 이미지를 입력으로 받아 단일 피드 포워드 패스..

Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation Haochen Wang, Xiaodan Du, Jiahao Li, Raymond A. Yeh, Greg Shakhnarovich Abstract 디퓨전 모델은 그래디언트의 벡터 필드를 예측하는 것을 학습합니다. 우리는 학습된 그래디언트에 체인 룰을 적용하고, 미분 가능한 렌더러의 자코비안을 통해 디퓨전 모델의 score를 역전파할 것을 제안하며, 이를 복셀 래디언스 필드로 인스턴스화합니다. 이 설정은 여러 카메라 시점의 2D score들을 3D score로 집계하고, 3D 데이터 생성을 위해 사전 학습된 2D 모델을 용도 변경합니다. 우리는 이 응용 프로그램에..

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng Abstract 3D 콘텐츠 생성의 최근 발전은 대부분 score distillation sampling (SDS)을 통한 최적화 기반 3D 생성을 활용합니다. 유망한 결과가 나타났지만, 이러한 방법은 종종 샘플당 최적화가 느려 실용적인 사용이 제한됩니다. 본 논문에서는 효율성과 품질을 동시에 달성하는 새로운 3D 콘텐츠 생성 프레임워크인 DreamGaussian을 제안합니다. 우리의 핵심 통찰력은 UV 공간에서 동반 메시 추출 및 텍스처 정교화를 포함한 생성 ..