MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures Zhiqin Chen, Thomas Funkhouser, Peter Hedman, Andrea Tagliasacchi Abstract Neural Radiance Fields (NeRF)는 새로운 관점에서 3D 장면의 이미지를 합성하는 놀라운 능력을 보여주었습니다. 그러나 광범위하게 배치된 그래픽 하드웨어의 기능과 일치하지 않는 ray marching 기반의 전문 볼륨 렌더링 알고리즘에 의존합니다. 이 논문은 표준 렌더링 파이프라인으로 새로운 이미지를 효율적으로 합성할 수 있는 질감 처리된 다각..

Segment Anything Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Doll´ar, Ross Girshick Abstract Segment Anything (SA) 프로젝트를 소개합니다: 이미지 segmentation을 위한 새 작업, 모델 및 데이터 세트. 데이터 수집 루프에서 효율적인 모델을 사용하여 현재까지 가장 큰 segmentation 데이터 세트를 구축했으며, 11M 라이센스 및 개인 정보 보호 이미지에 10억 개 이상의 마스크를 사용했습니다. 이 모델은..

Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image Andrew Liu, Richard Tucker, Varun Jampani, Ameesh Makadia, Noah Snavely, Angjoo Kanazawa Abstract 지속적인 뷰 생성 문제를 소개합니다—단일 이미지가 주어진 임의의 긴 카메라 궤적에 해당하는 새로운 뷰의 장거리 생성. 이는 큰 카메라 모션으로 제시되면 빠르게 퇴화하는 현재 뷰 합성 방법의 기능을 훨씬 뛰어넘는 어려운 문제입니다. 비디오 생성 방법도 긴 시퀀스를 생성하는 데 한계가 있으며 종종 장면 지오메트리에 구애받지 않습니다. 우리는 기하학과 이미지 합성을 모두 반복적인 '렌더, 정제 ..

NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion Jiatao Gu, Alex Trevithick, Kai-En Lin, Josh Susskind, Christian Theobalt, Lingjie Liu, Ravi Ramamoorthi Abstract 단일 이미지에서 새로운 뷰 합성은 입력과 의미론적, 물리적 일관성을 동시에 유지하면서 객체와 장면의 폐쇄된 영역을 추론해야 한다. 기존 접근 방식은 로컬 이미지 피쳐에 대한 Neural Radiance Fields (NeRF)를 조건화하고, 입력 이미지 평면에 점을 투영하며, 볼륨 렌더링을 수행하기 위해 2D 피쳐를 집계한다. 그러나 심각한 ..

Deep Unsupervised Learning using Nonequilibrium Thermodynamics Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, Surya Ganguli Abstract 머신러닝의 중심 문제는 학습, 샘플링, 추론 및 평가가 여전히 분석적 또는 계산적으로 다루기 쉬운 매우 유연한 확률 분포 계열을 사용하여 복잡한 데이터 세트를 모델링하는 것이다. 여기서, 우리는 유연성과 추적성을 동시에 달성하는 접근법을 개발한다. 비평형 통계 물리학에서 영감을 받은 본질적인 아이디어는 반복적인 forward diffusion 과정을 통해 데이터 분포의 구조를 체계적으로 천천히 파괴하는 것이다. 그런 다음 데이터의 구조를 복원하여 ..

RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation Titas Anciukeviˇcius, Zexiang Xu, Matthew Fisher, Paul Henderson, Hakan Bilen, Niloy J. Mitra, Paul Guerrero Abstract Diffusion 모델은 현재 조건적 및 무조건적 이미지 생성 모두에서 SOTA 성능을 달성한다. 그러나 지금까지 이미지 diffusion 모델은 뷰 일관성 있는 3D 생성 또는 단일 뷰 객체 재구성과 같은 3D 이해에 필요한 작업을 지원하지 않는다. 본 논문에서는 단안 2D supervision만을 사용하여 학습할 수 있는 3D 생성 및 추론을 위한 ..