4D-fy: Text-to-4D Generation Using Hybrid Score Distillation Sampling Sherwin Bahmani, Ivan Skorokhodov, Victor Rong, Gordon Wetzstein, Leonidas Guibas, Peter Wonka, Sergey Tulyakov, Jeong Joon Park, Andrea Tagliasacchi, David B. Lindell Abstract 최근 text-to-4D 생성의 획기적인 발전은 사전 학습된 text-to-image 및 text-to-video 모델에 의존하여 동적 3D 장면을 생성합니다. 그러나 현재의 text-to-4D 방법은 장면 외관의 품질, 3D 구조 및 모션 사이에서 3자 균형에 직면해 ..

GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models Taoran Yi, Jiemin Fang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang Abstract 최근에는 텍스트 프롬프트에서 3D 자산을 생성하는 것이 인상적인 결과를 보여주었습니다. 2D 및 3D 디퓨전 모델은 모두 프롬프트를 기반으로 괜찮은 3D 객체를 생성하는 데 도움이 될 수 있습니다. 3D 디퓨전 모델은 3D 일관성은 좋지만 학습 가능한 3D 데이터가 비싸고 얻기 어렵기 때문에 품질과 일반화에 한계가 있습니다. 2D 디퓨전 모델은..

One-2-3-45++: Fast Single Image to 3D Objects with Consistent Multi-View   Generation and 3D Diffusion Minghua Liu, Ruoxi Shi, Linghao Chen, Zhuoyang Zhang, Chao Xu, Xinyue Wei, Hansheng Chen, Chong Zeng, Jiayuan Gu, Hao Su Abstractimage-to-3D 방법은 text-to-3D 대응물에 대한 탁월한 세밀한 제어를 제공하며 open-world 3D 객체 생성의 최근 발전은 두드러졌습니다. 그러나 대부분의 기존 모델은 빠른 생성 속도와 입력 이미지에 대한 높은 충실도를 동시에 제공하는 데 부족합니다 - 실제 적용에 ..

One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization Minghua Liu, Chao Xu, Haian Jin, Linghao Chen, Mukund Varma T, Zexiang Xu, Hao Su Abstract 단일 이미지 3D 재구성은 자연계에 대한 광범위한 지식을 필요로 하는 중요하지만 어려운 작업입니다. 기존의 많은 방법들은 2D 디퓨전 모델의 가이던스에 따라 neural radiance field를 최적화하여 이 문제를 해결하지만, 긴 최적화 시간, 3D 불일치 결과 및 좋지 않은 지오메트리로 인해 어려움을 겪습니다. 본 연구에서는 모든 객체의 단일 이미지를 입력으로 받아 단일 피드 포워드 패스..

Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation Haochen Wang, Xiaodan Du, Jiahao Li, Raymond A. Yeh, Greg Shakhnarovich Abstract 디퓨전 모델은 그래디언트의 벡터 필드를 예측하는 것을 학습합니다. 우리는 학습된 그래디언트에 체인 룰을 적용하고, 미분 가능한 렌더러의 자코비안을 통해 디퓨전 모델의 score를 역전파할 것을 제안하며, 이를 복셀 래디언스 필드로 인스턴스화합니다. 이 설정은 여러 카메라 시점의 2D score들을 3D score로 집계하고, 3D 데이터 생성을 위해 사전 학습된 2D 모델을 용도 변경합니다. 우리는 이 응용 프로그램에..

3D Gaussian Splatting for Real-Time Radiance Field Rendering BERNHARD KERBL, GEORGIOS KOPANAS, THOMAS LEIMKÜHLER, GEORGE DRETTAKIS Radiance Field 방법은 최근 여러 사진 또는 비디오로 캡처된 장면의 새로운 뷰 합성에 혁신을 일으키고 있습니다. 그러나 높은 시각적 품질을 달성하려면 학습 및 렌더링에 비용이 많이 드는 신경망이 여전히 필요하며, 최근의 더 빠른 방법은 필연적으로 품질과 속도를 맞바꾸어야 합니다. (분리된 객체가 아닌) 경계가 없고 완전한 장면 및 1080p 해상도 렌더링의 경우 현재 방법으로는 실시간 디스플레이 속도를 달성할 수 없습니다. 경쟁력 있는 학습 시간을 유지하면서 SO..