One-2-3-45: Any Single Image to 3D Mesh in 45 Seconds without Per-Shape Optimization Minghua Liu, Chao Xu, Haian Jin, Linghao Chen, Mukund Varma T, Zexiang Xu, Hao Su Abstract 단일 이미지 3D 재구성은 자연계에 대한 광범위한 지식을 필요로 하는 중요하지만 어려운 작업입니다. 기존의 많은 방법들은 2D 디퓨전 모델의 가이던스에 따라 neural radiance field를 최적화하여 이 문제를 해결하지만, 긴 최적화 시간, 3D 불일치 결과 및 좋지 않은 지오메트리로 인해 어려움을 겪습니다. 본 연구에서는 모든 객체의 단일 이미지를 입력으로 받아 단일 피드 포워드 패스..

Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation Haochen Wang, Xiaodan Du, Jiahao Li, Raymond A. Yeh, Greg Shakhnarovich Abstract 디퓨전 모델은 그래디언트의 벡터 필드를 예측하는 것을 학습합니다. 우리는 학습된 그래디언트에 체인 룰을 적용하고, 미분 가능한 렌더러의 자코비안을 통해 디퓨전 모델의 score를 역전파할 것을 제안하며, 이를 복셀 래디언스 필드로 인스턴스화합니다. 이 설정은 여러 카메라 시점의 2D score들을 3D score로 집계하고, 3D 데이터 생성을 위해 사전 학습된 2D 모델을 용도 변경합니다. 우리는 이 응용 프로그램에..

3D Gaussian Splatting for Real-Time Radiance Field Rendering BERNHARD KERBL, GEORGIOS KOPANAS, THOMAS LEIMKÜHLER, GEORGE DRETTAKIS Radiance Field 방법은 최근 여러 사진 또는 비디오로 캡처된 장면의 새로운 뷰 합성에 혁신을 일으키고 있습니다. 그러나 높은 시각적 품질을 달성하려면 학습 및 렌더링에 비용이 많이 드는 신경망이 여전히 필요하며, 최근의 더 빠른 방법은 필연적으로 품질과 속도를 맞바꾸어야 합니다. (분리된 객체가 아닌) 경계가 없고 완전한 장면 및 1080p 해상도 렌더링의 경우 현재 방법으로는 실시간 디스플레이 속도를 달성할 수 없습니다. 경쟁력 있는 학습 시간을 유지하면서 SO..

DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation Jiaxiang Tang, Jiawei Ren, Hang Zhou, Ziwei Liu, Gang Zeng Abstract 3D 콘텐츠 생성의 최근 발전은 대부분 score distillation sampling (SDS)을 통한 최적화 기반 3D 생성을 활용합니다. 유망한 결과가 나타났지만, 이러한 방법은 종종 샘플당 최적화가 느려 실용적인 사용이 제한됩니다. 본 논문에서는 효율성과 품질을 동시에 달성하는 새로운 3D 콘텐츠 생성 프레임워크인 DreamGaussian을 제안합니다. 우리의 핵심 통찰력은 UV 공간에서 동반 메시 추출 및 텍스처 정교화를 포함한 생성 ..

Magic3D: High-Resolution Text-to-3D Content Creation Chen-Hsuan Lin, Jun Gao, Luming Tang, Towaki Takikawa, Xiaohui Zeng, Xun Huang, Karsten Kreis, Sanja Fidler, Ming-Yu Liu, Tsung-Yi Lin Abstract DreamFusion [33]은 최근 Neural Radiance Fields (NeRF)[25]를 최적화하기 위해 사전 학습된 text-to-image diffusion 모델의 유용성을 입증하여 주목할 만한 text-to-3D 합성 결과를 달성했습니다. 그러나 이 방법에는 두 가지 고유한 한계가 있습니다: (a) NeRF의 극도로 느린 최적화와 (b) Ne..

Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa Abstract 텍스트 명령으로 NeRF 장면을 편집하는 방법을 제안합니다. 장면의 NeRF와 이를 재구성하는 데 사용된 이미지 모음을 고려할 때, 우리의 방법은 이미지 조건 diffusion 모델(InstructPix2Pix)을 사용하여 기본 장면을 최적화하면서 입력 이미지를 반복 편집하여 편집 명령을 존중하는 최적화된 3D 장면을 생성합니다. 우리는 제안된 방법이 대규모의 실제 장면을 편집할 수 있으며 이전 작업보다 더 현실적이고 타겟화된 편집을 수행할 수..