3D-LLM: Injecting the 3D World into Large Language Models Yining Hong, Haoyu Zhen, Peihao Chen, Shuhong Zheng, Yilun Du, Zhenfang Chen AbstractLarge language models (LLM)과 Vision-Language Models (VLM)은 상식적인 추론과 같은 여러 작업에서 뛰어난 성능을 발휘하는 것으로 입증되었습니다.이 모델들은 강력할 수 있지만, 공간 관계, 어포던스, 물리학, 레이아웃 등과 같은 더 풍부한 개념을 포함하는 3D 물리적 세계에 기반을 두고 있지 않습니다.이 연구에서는 대형 언어 모델에 3D 월드를 도입하고 완전히 새로운 3D-LLM 계열을 도입할 것을 제안합니다.구..

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani Abstract저희는 단일 이미지에서 0.5초 만에 빠르고 고품질의 텍스처 객체 메쉬 재구성을 위한 새로운 방법인 SF3D를 소개합니다. 대부분의 기존 접근 방식과 달리 SF3D는 메쉬 생성을 위해 명시적으로 학습되어 정점 색상에 의존하지 않고 빠른 텍스처 생성을 가능하게 하는 빠른 UV 언랩 기술을 통합합니다. 이 방법은 재구성된 3D 메쉬의 시각적 품질을 향상시키기 위해 재료 매개변수와 노멀 맵을 예측하는 방법도 학습합니다. 또한 SF..

Make-A-Video: Text-to-Video Generation without Text-Video Data Uriel Singer, Adam Polyak, Thomas Hayes, Xi Yin, Jie An, Songyang Zhang, Qiyuan Hu, Harry Yang, Oron Ashual, Oran Gafni, Devi Parikh, Sonal Gupta, Yaniv Taigman Abstract저희는 최근 Text-to-Image (T2I) 생성의 엄청난 발전을 Text-to-Video (T2V)로 직접 변환하기 위한 접근 방식인 Make-A-Video를 제안합니다. 저희의 직관은 간단합니다: 짝을 이룬 text-image 데이터로부터 세상이 어떻게 보이고 어떻게 설명되는지를 배우고, ..

DreamGaussian4D: Generative 4D Gaussian Splatting Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu Abstract최근 4D 콘텐츠 생성에서 괄목할 만한 진전이 있었습니다. 그러나 기존 방법은 최적화 시간이 길고, 모션 제어 가능성이 부족하며, 세부 정보 수준이 낮다는 어려움을 겪고 있습니다. 이 논문에서는 4D Gaussian Splatting 표현을 기반으로 하는 효율적인 4D 생성 프레임워크인 DreamGaussian4D를 소개합니다. 저희의 핵심 통찰력은 Gaussian Splatting에서 공간 변환을 명시적으로 모델링하면 암시적 표현에 비해 4D 생성 설정에 더 적..

LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation Jiaxiang Tang, Zhaoxi Chen, Xiaokang Chen, Tengfei Wang, Gang Zeng, Ziwei Liu Abstract3D 콘텐츠 제작은 품질과 속도 모두에서 상당한 발전을 이루었습니다. 현재 피드포워드 모델은 몇 초 만에 3D 객체를 생성할 수 있지만, 해상도는 학습 중에 필요한 집중적인 계산으로 인해 제한됩니다. 이 논문에서는 텍스트 프롬프트 또는 단일 뷰 이미지에서 고해상도 3D 모델을 생성하도록 설계된 새로운 프레임워크인 Large Multi-View Gaussian Model (LGM)을 소개합니다. 저희의 주요 통찰력은 두..

DreamCraft3D: Hierarchical 3D Generation with Bootstrapped Diffusion Prior Jingxiang Sun, Bo Zhang, Ruizhi Shao, Lizhen Wang, Wen Liu, Zhenda Xie, Yebin Liu Abstract 저희는 높은 충실도와 일관성 있는 3D 객체를 생성하는 계층적 3D 콘텐츠 생성 방법인 DreamCraft3D를 제시합니다. 저희는 2D 참조 이미지를 활용하여 지오메트리 조각 및 텍스처 부스팅 단계를 가이드함으로써 문제를 해결합니다. 이 작업의 핵심은 기존 작품이 직면하는 일관성 문제를 해결하는 것입니다. 일관성 있게 렌더링하는 지오메트리를 조각하기 위해 뷰 의존 디퓨전 모델을 통해 score distillat..