FastNeRF 아키텍처는 동일한 작업을 캐싱할 수 있는 두 개의 신경망으로 나눔. 위치 종속 네트워크 F_pos는 D 구성 요소로 구성된 딥 래디언스 맵(u, v, w)을 출력하고 F_dir는 ray 방향이 주어진 해당 구성 요소(β_1, ..., β_D)의 가중치를 입력으로 출력합니다. Caching단일 픽셀을 렌더링하기 위해 평가되어야 하는 많은 수의 샘플을 고려할 때, F 계산 비용은 NeRF 렌더링의 총 비용을 지배합니다. 따라서 NeRF를 가속화하기 위해 장면의 공간을 덮는 입력 세트에 대한 출력을 캐싱하여 F의 테스트 시간 비용을 줄이려고 시도할 수 있습니다. 그런 다음 캐시는 F를 계산하는 데 걸리는 시간의 몇 분의 일로 평가될 수 있습니다. 학습된 NeRF 모델의 경우 NeRF에 의해 캡..

https://hsejun07.tistory.com/78 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (번역)NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, Ren Ng Abstract 희소한 입력 뷰 세트를 사용하여 기본 연속 체적 장면 함hsejun07.tistory.com Goal : 보이지 않는 뷰의 이미지를 합성 (a) 카메라 ray를 따라 5D 좌표 (위치 x,y,z 및 뷰..

LRM: Large Reconstruction Model for Single Image to 3D Yicong Hong, Kai Zhang, Jiuxiang Gu, Sai Bi, Yang Zhou, Difan Liu, Feng Liu, Kalyan Sunkavalli, Trung Bui, Hao Tan Abstract저희는 단일 입력 이미지에서 객체의 3D 모델을 단 5초 이내에 예측하는 최초의 Large Reconstruction Model (LRM)을 제안합니다. 카테고리별 방식으로 ShapeNet과 같은 소규모 데이터 세트에서 학습하는 이전의 많은 방법과 달리, LRM은 5억 개의 학습 가능한 매개 변수가 있는 확장성이 높은 트랜스포머 기반 아키텍처를 채택하여 입력 이미지에서 neural radia..

Segment Anything in 3D with NeRFs Jiazhong Cen, Zanwei Zhou, Jiemin Fang, Chen Yang, Wei Shen, Lingxi Xie, Dongsheng Jiang, Xiaopeng Zhang, Qi Tian Abstract최근 Segment Anything Model (SAM)은 2D 이미지에서 모든 것을 세그먼트할 수 있는 강력한 비전 파운데이션 모델로 부상했습니다. 이 논문은 SAM을 3D 객체로 일반화하는 것을 목표로 합니다. 저희는 3D에서 비용이 많이 드는 데이터 획득 및 주석 절차를 복제하는 대신, 멀티-뷰 2D 이미지를 3D 공간에 연결하는 저렴하고 기성품인 Neural Radiance Field (NeRF)를 활용하여 효율적인 솔루션..

4D Gaussian Splatting for Real-Time Dynamic Scene Rendering Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang Abstract동적 장면을 표현하고 렌더링하는 것은 중요하지만 어려운 작업이었습니다.특히 복잡한 모션을 정확하게 모델링하기 위해서는 일반적으로 높은 효율성을 보장하기가 어렵습니다. 실시간 동적 장면 렌더링을 달성하는 동시에 높은 학습 및 저장 효율성을 누리기 위해 저희는 각 프레임에 3D-GS를 적용하는 대신 동적 장면에 대한 전체적인 표현으로 4D Gaussian Splatting (4D-GS)을 제안합니다...

GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images Jun Gao, Tianchang Shen, Zian Wang, Wenzheng Chen, Kangxue Yin, Daiqing Li, Or Litany, Zan Gojcic, Sanja Fidler Abstract 여러 산업이 대규모 3D 가상 세계를 모델링하는 방향으로 나아감에 따라 3D 콘텐츠의 양, 품질 및 다양성 측면에서 확장할 수 있는 콘텐츠 생성 도구의 필요성이 분명해지고 있습니다. 우리 연구에서는 3D 렌더링 엔진이 직접 소비할 수 있는 질감 있는 메시를 합성하여 다운스트림 애플리케이션에서 즉시 사용할 수 있는 성능 3D 생성 모델을 학습하는 것을..