AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training Yifan Jiang, Peter Hedman, Ben Mildenhall, Dejia Xu, Jonathan T. Barron, Zhangyang Wang, Tianfan Xue Abstract Neural Radiance Fields (NeRF)는 3D 장면을 연속 함수로 모델링하기 위한 강력한 표현입니다. NeRF는 뷰 의존적 효과로 복잡한 3D 장면을 렌더링할 수 있지만, 고해상도 설정에서 한계를 탐색하기 위한 노력은 거의 없습니다. 특히, 기존 NeRF 기반 방법은 매우 많은 수의 매개 변수, 잘못 정렬된 입력 데이터 및 지나치게 매끄러운 세부 정보를 포함하여 ..

Learning both Weights and Connections for Efficient Neural Networks Song Han, Jeff Pool, John Tran, William J. Dally Abstract 신경망은 계산 집약적이고 메모리 집약적이므로 임베디드 시스템에 배포하기가 어렵습니다. 또한 기존 네트워크는 학습이 시작되기 전에 아키텍처를 수정합니다; 결과적으로 학습은 아키텍처를 개선할 수 없습니다. 이러한 한계를 해결하기 위해, 우리는 중요한 연결만 학습하여 신경망의 정확성에 영향을 주지 않고 신경망에 필요한 저장 및 계산을 몇 배로 줄이는 방법을 설명합니다. 우리의 방법은 3단계 방법을 사용하여 중복 연결을 제거합니다. 먼저, 우리는 어떤 연결이 중요한지 학습하기 위해 네트워크..

MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures Zhiqin Chen, Thomas Funkhouser, Peter Hedman, Andrea Tagliasacchi Abstract Neural Radiance Fields (NeRF)는 새로운 관점에서 3D 장면의 이미지를 합성하는 놀라운 능력을 보여주었습니다. 그러나 광범위하게 배치된 그래픽 하드웨어의 기능과 일치하지 않는 ray marching 기반의 전문 볼륨 렌더링 알고리즘에 의존합니다. 이 논문은 표준 렌더링 파이프라인으로 새로운 이미지를 효율적으로 합성할 수 있는 질감 처리된 다각..

Segment Anything Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Doll´ar, Ross Girshick Abstract Segment Anything (SA) 프로젝트를 소개합니다: 이미지 segmentation을 위한 새 작업, 모델 및 데이터 세트. 데이터 수집 루프에서 효율적인 모델을 사용하여 현재까지 가장 큰 segmentation 데이터 세트를 구축했으며, 11M 라이센스 및 개인 정보 보호 이미지에 10억 개 이상의 마스크를 사용했습니다. 이 모델은..

Infinite Nature: Perpetual View Generation of Natural Scenes from a Single Image Andrew Liu, Richard Tucker, Varun Jampani, Ameesh Makadia, Noah Snavely, Angjoo Kanazawa Abstract 지속적인 뷰 생성 문제를 소개합니다—단일 이미지가 주어진 임의의 긴 카메라 궤적에 해당하는 새로운 뷰의 장거리 생성. 이는 큰 카메라 모션으로 제시되면 빠르게 퇴화하는 현재 뷰 합성 방법의 기능을 훨씬 뛰어넘는 어려운 문제입니다. 비디오 생성 방법도 긴 시퀀스를 생성하는 데 한계가 있으며 종종 장면 지오메트리에 구애받지 않습니다. 우리는 기하학과 이미지 합성을 모두 반복적인 '렌더, 정제 ..

NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion Jiatao Gu, Alex Trevithick, Kai-En Lin, Josh Susskind, Christian Theobalt, Lingjie Liu, Ravi Ramamoorthi Abstract 단일 이미지에서 새로운 뷰 합성은 입력과 의미론적, 물리적 일관성을 동시에 유지하면서 객체와 장면의 폐쇄된 영역을 추론해야 한다. 기존 접근 방식은 로컬 이미지 피쳐에 대한 Neural Radiance Fields (NeRF)를 조건화하고, 입력 이미지 평면에 점을 투영하며, 볼륨 렌더링을 수행하기 위해 2D 피쳐를 집계한다. 그러나 심각한 ..