DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection Yingwei Li, Adams Wei Yu, Tianjian Meng, Ben Caine, Jiquan Ngiam, Daiyi Peng, Junyang Shen, Bo Wu, Yifeng Lu2, Denny Zhou, Quoc V. Le, Alan Yuille, Mingxing Tan Abstract 라이다와 카메라는 자율주행 시 3D 감지를 위한 보완 정보를 제공하는 중요 센서입니다. 일반적인 멀티모달 방식[34, 36]은 원시 라이다 포인트 클라우드를 카메라 피쳐로로 장식하여 기존 3D 검출 모델에 직접 제공하지만, 본 연구에서는 원시 포인트 대신 깊이 있는 라이다 피쳐..

DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove Abstract 컴퓨터 그래픽스, 3D 컴퓨터 비전 및 로봇 커뮤니티는 렌더링 및 재구성을 위해 3D 기하학을 표현하기 위한 여러 가지 접근 방식을 제시했습니다. 이러한 기능은 충실도, 효율성 및 압축 기능을 균형 있게 제공합니다. 본 연구에서는 부분적이고 노이즈가 많은 3D 입력 데이터에서 고품질 형상 표현, 보간 및 완성을 가능하게 하는 도형 클래스의 학습된 연속 부호 거리 함수(SDF) 표현인 DeepSDF를 소..

Occupancy Networks: Learning 3D Reconstruction in Function Space Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, Andreas Geiger Abstract 심층 신경망의 등장으로 3D 재구성을 위한 학습 기반 접근법이 인기를 얻었다. 그러나 이미지의 경우와 달리 3D에는 계산 및 메모리 효율성이 뛰어나지만 임의 위상의 고해상도 형상을 나타낼 수 있는 표준 표현이 없다. 따라서 많은 SOTA 학습 기반 3D 재구성 접근 방식은 매우 coarse 3D 지오메트리만 나타낼 수 있거나 제한된 영역으로 제한된다. 본 논문에서는 학습 기반 3D 재구성 방법에 대한 새로운 표현인 Occup..

Pixel2Mesh : Generating 3D Mesh Models from Single RGB Images Nanyang Wang, Yinda Zhang, Zhuwen Li, Yanwei Fu, Wei Liu, Yu-Gang Jiang Abstract 단일 컬러 이미지에서 삼각형 메시로 3D 형상을 생성하는 엔드 투 엔드 딥 러닝 아키텍처를 제안한다. 심층 신경망의 특성으로 인해 제한되는 이전 방법은 대개 볼륨 또는 포인트 클라우드에서 3D 형상을 나타내며, 이를 즉시 사용할 수 있는 메시 모델로 변환하는 것이 중요하다. 기존 방법과 달리, 우리 네트워크는 그래프 기반 컨볼루션 신경망에서 3D 메시를 나타내며 입력 이미지에서 추출된 지각 특징을 활용하여 타원체를 점진적으로 변형하여 올바른 형상을 만든..

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, Neil Houlsby Abstract 트랜스포머 아키텍처는 자연어 처리 작업의 실질적인 표준이 되었지만 컴퓨터 비전에 대한 적용은 여전히 제한적이다. 비전에서 attention는 컨볼루션 네트워크와 함께 적용되거나 컨볼루션 네트워크의 ..

PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space Charles R. Qi, Li Yi, Hao Su, Leonidas J. Guibas Abstract 포인트 세트에 대한 딥 러닝을 연구한 이전 연구는 거의 없다. PointNet [20]은 이러한 방향의 선구자입니다. 그러나 설계상 PointNet은 살아있는 메트릭 공간 포인트에 의해 유도된 로컬 구조를 캡처하지 않으므로 미세한 패턴과 일반화 가능성을 복잡한 장면으로 인식하는 능력이 제한된다. 본 연구에서는 입력 포인트 세트의 중첩된 분할에 PointNet을 재귀적으로 적용하는 계층적 신경망을 소개한다. 메트릭 공간 거리를 활용함으로써, 우리 네트워크는 상황별 ..