Segment Anything in 3D with NeRFs Jiazhong Cen, Zanwei Zhou, Jiemin Fang, Chen Yang, Wei Shen, Lingxi Xie, Dongsheng Jiang, Xiaopeng Zhang, Qi Tian Abstract최근 Segment Anything Model (SAM)은 2D 이미지에서 모든 것을 세그먼트할 수 있는 강력한 비전 파운데이션 모델로 부상했습니다. 이 논문은 SAM을 3D 객체로 일반화하는 것을 목표로 합니다. 저희는 3D에서 비용이 많이 드는 데이터 획득 및 주석 절차를 복제하는 대신, 멀티-뷰 2D 이미지를 3D 공간에 연결하는 저렴하고 기성품인 Neural Radiance Field (NeRF)를 활용하여 효율적인 솔루션..

4D Gaussian Splatting for Real-Time Dynamic Scene Rendering Guanjun Wu, Taoran Yi, Jiemin Fang, Lingxi Xie, Xiaopeng Zhang, Wei Wei, Wenyu Liu, Qi Tian, Xinggang Wang Abstract동적 장면을 표현하고 렌더링하는 것은 중요하지만 어려운 작업이었습니다.특히 복잡한 모션을 정확하게 모델링하기 위해서는 일반적으로 높은 효율성을 보장하기가 어렵습니다. 실시간 동적 장면 렌더링을 달성하는 동시에 높은 학습 및 저장 효율성을 누리기 위해 저희는 각 프레임에 3D-GS를 적용하는 대신 동적 장면에 대한 전체적인 표현으로 4D Gaussian Splatting (4D-GS)을 제안합니다...

GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images Jun Gao, Tianchang Shen, Zian Wang, Wenzheng Chen, Kangxue Yin, Daiqing Li, Or Litany, Zan Gojcic, Sanja Fidler Abstract 여러 산업이 대규모 3D 가상 세계를 모델링하는 방향으로 나아감에 따라 3D 콘텐츠의 양, 품질 및 다양성 측면에서 확장할 수 있는 콘텐츠 생성 도구의 필요성이 분명해지고 있습니다. 우리 연구에서는 3D 렌더링 엔진이 직접 소비할 수 있는 질감 있는 메시를 합성하여 다운스트림 애플리케이션에서 즉시 사용할 수 있는 성능 3D 생성 모델을 학습하는 것을..

Pyramid Stereo Matching Network Jia-Ren Chang, Yong-Sheng Chen Abstract 최근 연구는 스테레오 이미지 쌍으로부터의 depth 추정이 컨볼루션 뉴럴 네트워크(CNN)로 해결되는 지도 학습 과제로 공식화될 수 있다는 것을 보여주었다. 다만, 현재의 아키텍처는 패치 기반의 Siamse 네트워크에 의존하고 있기 때문에, 부적절한 장소에서의 대응 관계를 검출하기 위한 컨텍스트 정보의 이용 수단이 없습니다. 이 문제를 해결하기 위해, 우리는 공간 피라미드 풀링과 3D CNN이라는 두 개의 주요 모듈로 구성된 피라미드 스테레오 매칭 네트워크인 PSMNet을 제안한다. 공간 피라미드 풀링 모듈은 다양한 규모와 위치의 컨텍스트를 집계하여 비용 볼륨을 형성함으로써 글..

Mesh R-CNN Georgia Gkioxari, Jitendra Malik, Justin Johnson Abstract 2D 지각의 급속한 발전으로 인해 실제 영상의 물체를 정확하게 감지하는 시스템이 생겨났습니다. 그러나 이 시스템은 세계의 3D 구조를 무시하고 2D로 예측한다. 동시에, 3D 형상 예측의 진보는 대부분 합성 벤치마크와 분리된 물체에 초점을 맞추고 있습니다. 우리는 이 두 분야에서 진보를 통합한다. 우리는 실제 이미지에서 물체를 감지하여 각 물체의 완전한 3D 형상을 제공하는 삼각형 메쉬를 제작하는 시스템을 제안한다. Mesh R-CNN이라고 하는 우리의 시스템은 메쉬의 정점과 에지에 걸쳐 작동하는 그래프 컨볼루션 네트워크로 다듬어진 거친 복셀 표현을 먼저 예측하여 다양한 위상 구조의..

DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove Abstract 컴퓨터 그래픽스, 3D 컴퓨터 비전 및 로봇 커뮤니티는 렌더링 및 재구성을 위해 3D 기하학을 표현하기 위한 여러 가지 접근 방식을 제시했습니다. 이러한 기능은 충실도, 효율성 및 압축 기능을 균형 있게 제공합니다. 본 연구에서는 부분적이고 노이즈가 많은 3D 입력 데이터에서 고품질 형상 표현, 보간 및 완성을 가능하게 하는 도형 클래스의 학습된 연속 부호 거리 함수(SDF) 표현인 DeepSDF를 소..