NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections Ricardo Martin-Brualla, Noha Radwan, Mehdi S. M. Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth Abstract우리는 구조화되지 않은 현장 사진 모음만을 사용하여 복잡한 장면의 새로운 뷰를 합성하는 학습 기반 방법을 제시한다.우리는 다층 퍼셉트론의 가중치를 사용하여 장면의 밀도와 색상을 3D 좌표의 함수로 모델링하는 Neural Radiance Field (NeRF)을 기반으로 한다.NeRF는 제어된 설정에서 캡처된 정적 피사체의 이미지에서 잘 작동하지만..

Pyramid Stereo Matching Network Jia-Ren Chang, Yong-Sheng Chen Abstract 최근 연구는 스테레오 이미지 쌍으로부터의 depth 추정이 컨볼루션 뉴럴 네트워크(CNN)로 해결되는 지도 학습 과제로 공식화될 수 있다는 것을 보여주었다. 다만, 현재의 아키텍처는 패치 기반의 Siamse 네트워크에 의존하고 있기 때문에, 부적절한 장소에서의 대응 관계를 검출하기 위한 컨텍스트 정보의 이용 수단이 없습니다. 이 문제를 해결하기 위해, 우리는 공간 피라미드 풀링과 3D CNN이라는 두 개의 주요 모듈로 구성된 피라미드 스테레오 매칭 네트워크인 PSMNet을 제안한다. 공간 피라미드 풀링 모듈은 다양한 규모와 위치의 컨텍스트를 집계하여 비용 볼륨을 형성함으로써 글..

Mesh R-CNN Georgia Gkioxari, Jitendra Malik, Justin Johnson Abstract 2D 지각의 급속한 발전으로 인해 실제 영상의 물체를 정확하게 감지하는 시스템이 생겨났습니다. 그러나 이 시스템은 세계의 3D 구조를 무시하고 2D로 예측한다. 동시에, 3D 형상 예측의 진보는 대부분 합성 벤치마크와 분리된 물체에 초점을 맞추고 있습니다. 우리는 이 두 분야에서 진보를 통합한다. 우리는 실제 이미지에서 물체를 감지하여 각 물체의 완전한 3D 형상을 제공하는 삼각형 메쉬를 제작하는 시스템을 제안한다. Mesh R-CNN이라고 하는 우리의 시스템은 메쉬의 정점과 에지에 걸쳐 작동하는 그래프 컨볼루션 네트워크로 다듬어진 거친 복셀 표현을 먼저 예측하여 다양한 위상 구조의..

DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove Abstract 컴퓨터 그래픽스, 3D 컴퓨터 비전 및 로봇 커뮤니티는 렌더링 및 재구성을 위해 3D 기하학을 표현하기 위한 여러 가지 접근 방식을 제시했습니다. 이러한 기능은 충실도, 효율성 및 압축 기능을 균형 있게 제공합니다. 본 연구에서는 부분적이고 노이즈가 많은 3D 입력 데이터에서 고품질 형상 표현, 보간 및 완성을 가능하게 하는 도형 클래스의 학습된 연속 부호 거리 함수(SDF) 표현인 DeepSDF를 소..

Occupancy Networks: Learning 3D Reconstruction in Function Space Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, Andreas Geiger Abstract 심층 신경망의 등장으로 3D 재구성을 위한 학습 기반 접근법이 인기를 얻었다. 그러나 이미지의 경우와 달리 3D에는 계산 및 메모리 효율성이 뛰어나지만 임의 위상의 고해상도 형상을 나타낼 수 있는 표준 표현이 없다. 따라서 많은 SOTA 학습 기반 3D 재구성 접근 방식은 매우 coarse 3D 지오메트리만 나타낼 수 있거나 제한된 영역으로 제한된다. 본 논문에서는 학습 기반 3D 재구성 방법에 대한 새로운 표현인 Occup..

Pixel2Mesh : Generating 3D Mesh Models from Single RGB Images Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, Yu-Gang Jiang Abstract 단일 컬러 이미지에서 삼각형 메시로 3D 형상을 생성하는 엔드 투 엔드 딥 러닝 아키텍처를 제안한다. 심층 신경망의 특성으로 인해 제한되는 이전 방법은 대개 볼륨 또는 포인트 클라우드에서 3D 형상을 나타내며, 이를 즉시 사용할 수 있는 메시 모델로 변환하는 것이 중요하다. 기존 방법과 달리, 우리 네트워크는 그래프 기반 컨볼루션 신경망에서 3D 메시를 나타내며 입력 이미지에서 추출된 지각 특징을 활용하여 타원체를 점진적으로 변형하여 올바른 형상을 만든..