https://hsejun07.tistory.com/78 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (번역)NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng Abstract 희소한 입력 뷰 세트를 사용하여 기본 연속 체적 장면 함hsejun07.tistory.com Goal : 보이지 않는 뷰의 이미지를 합성 (a) 카메라 ray를 따라 5D 좌표 (위치 x,y,z 및 뷰..

LRM: Large Reconstruction Model for Single Image to 3D Yicong Hong, Kai Zhang, Jiuxiang Gu, Sai Bi, Yang Zhou, Difan Liu, Feng Liu, Kalyan Sunkavalli, Trung Bui, Hao Tan Abstract저희는 단일 입력 이미지에서 객체의 3D 모델을 단 5초 이내에 예측하는 최초의 Large Reconstruction Model (LRM)을 제안합니다. 카테고리별 방식으로 ShapeNet과 같은 소규모 데이터 세트에서 학습하는 이전의 많은 방법과 달리, LRM은 5억 개의 학습 가능한 매개 변수가 있는 확장성이 높은 트랜스포머 기반 아키텍처를 채택하여 입력 이미지에서 neural radia..

DreamGaussian4D: Generative 4D Gaussian Splatting Jiawei Ren, Liang Pan, Jiaxiang Tang, Chi Zhang, Ang Cao, Gang Zeng, Ziwei Liu Abstract최근 4D 콘텐츠 생성에서 괄목할 만한 진전이 있었습니다. 그러나 기존 방법은 최적화 시간이 길고, 모션 제어 가능성이 부족하며, 세부 정보 수준이 낮다는 어려움을 겪고 있습니다. 이 논문에서는 4D Gaussian Splatting 표현을 기반으로 하는 효율적인 4D 생성 프레임워크인 DreamGaussian4D를 소개합니다. 저희의 핵심 통찰력은 Gaussian Splatting에서 공간 변환을 명시적으로 모델링하면 암시적 표현에 비해 4D 생성 설정에 더 적..

Segment Anything in 3D with NeRFs Jiazhong Cen, Zanwei Zhou, Jiemin Fang, Chen Yang, Wei Shen, Lingxi Xie, Dongsheng Jiang, Xiaopeng Zhang, Qi Tian Abstract최근 Segment Anything Model (SAM)은 2D 이미지에서 모든 것을 세그먼트할 수 있는 강력한 비전 파운데이션 모델로 부상했습니다. 이 논문은 SAM을 3D 객체로 일반화하는 것을 목표로 합니다. 저희는 3D에서 비용이 많이 드는 데이터 획득 및 주석 절차를 복제하는 대신, 멀티-뷰 2D 이미지를 3D 공간에 연결하는 저렴하고 기성품인 Neural Radiance Field (NeRF)를 활용하여 효율적인 솔루션..

4D Gaussian Splatting for Real-Time Dynamic Scene Rendering Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang Abstract동적 장면을 표현하고 렌더링하는 것은 중요하지만 어려운 작업이었습니다.특히 복잡한 모션을 정확하게 모델링하기 위해서는 일반적으로 높은 효율성을 보장하기가 어렵습니다. 실시간 동적 장면 렌더링을 달성하는 동시에 높은 학습 및 저장 효율성을 누리기 위해 저희는 각 프레임에 3D-GS를 적용하는 대신 동적 장면에 대한 전체적인 표현으로 4D Gaussian Splatting (4D-GS)을 제안합니다...

LGM: Large Multi-View Gaussian Model for High-Resolution 3D Content Creation Jiaxiang Tang, Zhaoxi Chen, Xiaokang Chen, Tengfei Wang, Gang Zeng, Ziwei Liu Abstract3D 콘텐츠 제작은 품질과 속도 모두에서 상당한 발전을 이루었습니다. 현재 피드포워드 모델은 몇 초 만에 3D 객체를 생성할 수 있지만, 해상도는 학습 중에 필요한 집중적인 계산으로 인해 제한됩니다. 이 논문에서는 텍스트 프롬프트 또는 단일 뷰 이미지에서 고해상도 3D 모델을 생성하도록 설계된 새로운 프레임워크인 Large Multi-View Gaussian Model (LGM)을 소개합니다. 저희의 주요 통찰력은 두..