Mesh R-CNN Georgia Gkioxari, Jitendra Malik, Justin Johnson Abstract 2D 지각의 급속한 발전으로 인해 실제 영상의 물체를 정확하게 감지하는 시스템이 생겨났습니다. 그러나 이 시스템은 세계의 3D 구조를 무시하고 2D로 예측한다. 동시에, 3D 형상 예측의 진보는 대부분 합성 벤치마크와 분리된 물체에 초점을 맞추고 있습니다. 우리는 이 두 분야에서 진보를 통합한다. 우리는 실제 이미지에서 물체를 감지하여 각 물체의 완전한 3D 형상을 제공하는 삼각형 메쉬를 제작하는 시스템을 제안한다. Mesh R-CNN이라고 하는 우리의 시스템은 메쉬의 정점과 에지에 걸쳐 작동하는 그래프 컨볼루션 네트워크로 다듬어진 거친 복셀 표현을 먼저 예측하여 다양한 위상 구조의..

DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove Abstract 컴퓨터 그래픽스, 3D 컴퓨터 비전 및 로봇 커뮤니티는 렌더링 및 재구성을 위해 3D 기하학을 표현하기 위한 여러 가지 접근 방식을 제시했습니다. 이러한 기능은 충실도, 효율성 및 압축 기능을 균형 있게 제공합니다. 본 연구에서는 부분적이고 노이즈가 많은 3D 입력 데이터에서 고품질 형상 표현, 보간 및 완성을 가능하게 하는 도형 클래스의 학습된 연속 부호 거리 함수(SDF) 표현인 DeepSDF를 소..

Occupancy Networks: Learning 3D Reconstruction in Function Space Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, Andreas Geiger Abstract 심층 신경망의 등장으로 3D 재구성을 위한 학습 기반 접근법이 인기를 얻었다. 그러나 이미지의 경우와 달리 3D에는 계산 및 메모리 효율성이 뛰어나지만 임의 위상의 고해상도 형상을 나타낼 수 있는 표준 표현이 없다. 따라서 많은 SOTA 학습 기반 3D 재구성 접근 방식은 매우 coarse 3D 지오메트리만 나타낼 수 있거나 제한된 영역으로 제한된다. 본 논문에서는 학습 기반 3D 재구성 방법에 대한 새로운 표현인 Occup..

Pixel2Mesh : Generating 3D Mesh Models from Single RGB Images Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, Yu-Gang Jiang Abstract 단일 컬러 이미지에서 삼각형 메시로 3D 형상을 생성하는 엔드 투 엔드 딥 러닝 아키텍처를 제안한다. 심층 신경망의 특성으로 인해 제한되는 이전 방법은 대개 볼륨 또는 포인트 클라우드에서 3D 형상을 나타내며, 이를 즉시 사용할 수 있는 메시 모델로 변환하는 것이 중요하다. 기존 방법과 달리, 우리 네트워크는 그래프 기반 컨볼루션 신경망에서 3D 메시를 나타내며 입력 이미지에서 추출된 지각 특징을 활용하여 타원체를 점진적으로 변형하여 올바른 형상을 만든..

PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space Charles R. Qi, Li Yi, Hao Su, Leonidas J. Guibas Abstract 포인트 세트에 대한 딥 러닝을 연구한 이전 연구는 거의 없다. PointNet [20]은 이러한 방향의 선구자입니다. 그러나 설계상 PointNet은 살아있는 메트릭 공간 포인트에 의해 유도된 로컬 구조를 캡처하지 않으므로 미세한 패턴과 일반화 가능성을 복잡한 장면으로 인식하는 능력이 제한된다. 본 연구에서는 입력 포인트 세트의 중첩된 분할에 PointNet을 재귀적으로 적용하는 계층적 신경망을 소개한다. 메트릭 공간 거리를 활용함으로써, 우리 네트워크는 상황별 ..

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation Charles R. Qi, Hao Su, Kaichun Mo, Leonidas J. Guibas Abstract 포인트 클라우드는 기하학적 데이터 구조의 중요한 유형이다. 불규칙한 형식 때문에 대부분의 연구자들은 이러한 데이터를 일반 3D 복셀 그리드 또는 이미지 모음으로 변환한다. 그러나 이로 인해 불필요하게 많은 양의 데이터가 생성되어 문제가 발생합니다. 본 논문에서, 우리는 입력에 있는 점의 순열 불변성을 잘 존중하는 포인트 클라우드를 직접 소비하는 새로운 유형의 신경망을 설계한다. PointNet이라는 이름의 네트워크는 객체 분류, 부품 분할, 장면 의미 파싱에..