RobustNeRF: Ignoring Distractors with Robust Losses Sara Sabour, Suhani Vora, Daniel Duckworth, Ivan Krasin, David J. Fleet, Andrea Tagliasacchi AbstractNeural radiance fields (NeRF)는 정적 장면의 멀티뷰, 보정된 이미지가 주어졌을 때 새로운 뷰를 합성하는 데 탁월합니다. 장면에 이미지 캡처 중에 지속되지 않는 distractors (이동하는 물체, 조명 변화, 그림자)가 포함된 경우, 아티팩트는 뷰 종속 효과 또는 'floaters'로 나타납니다. distractors에 대처하기 위해 학습 데이터에서 distractors를 최적화 문제의 이상치로 모델링하여 Ne..

Cross-Ray Neural Radiance Fields for Novel-view Synthesis from Unconstrained Image Collections Yifan Yang, Shuhai Zhang, Zixiong Huang, Yubing Zhang, Mingkui Tan AbstractNeural Radiance Fields (NeRF)는 픽셀당 단일 ray를 샘플링하여 장면을 렌더링하는 혁신적인 접근 방식으로, 정적 장면 이미지에서 새로운 뷰 합성에 인상적인 기능을 입증했습니다. 그러나 실제로는 일반적으로 제약이 없는 이미지 컬렉션에서 NeRF를 복구해야 하므로 두 가지 과제가 있습니다: 1) 이미지는 캡처 시간과 카메라 설정이 다르기 때문에 종종 외형이 동적으로 변화하며, 2) 이미..

NeRF-MS: Neural Radiance Fields with Multi-Sequence Peihao Li, Shaohui Wang, Chen Yang, Bingbing Liu, Weichao Qiu, Haoqian Wang AbstractNeural radiance fields (NeRF)는 단일 시퀀스 데이터로만 학습할 때 새로운 뷰 합성에서 인상적인 성능을 달성합니다. 그러나 더 나은 재구성 성능을 위해서는 서로 다른 시간에 서로 다른 카메라로 캡처한 멀티 시퀀스를 활용하는 것이 필수적입니다. 멀티 시퀀스 데이터에는 두 가지 주요 과제가 필요합니다: 조명 조건이 다르고 보행자와 같은 비 정적 물체로 인한 외관 변화. 이러한 문제를 해결하기 위해 멀티 시퀀스 데이터로 NeRF를 학습하는 새로운 접..

NeRF for Outdoor Scene Relighting Viktor Rudnev, Mohamed Elgharib, William Smith, Lingjie Liu, Vladislav Golyanik, Christian Theobalt Abstract사진에서 실외 장면을 사실적으로 편집하려면 이미지 형성 과정에 대한 깊은 이해와 장면 지오메트리, 반사율 및 조명의 정확한 추정이 필요합니다. 그런 다음 장면 알베도와 지오메트리를 변경하지 않으면서 조명을 섬세하게 조작할 수 있습니다. 뉴럴 래디언스 필드를 기반으로 한 실외 장면 재조명을 위한 최초의 접근 방식인 NeRF-OSR을 제시합니다. 기존 기술과 달리, 이 방법은 제어되지 않은 설정에서 촬영한 실외 사진 모음만 사용하여 조명과 카메라 시점을 동시..

Hallucinated Neural Radiance Fields in the Wild Xingyu Chen, Qi Zhang, Xiaoyu Li, Yue Chen, Ying Feng, Xuan Wang, Jue Wang AbstractNeural Radiance Fields (NeRF)는 최근 인상적인 새로운 뷰 합성 능력으로 인기를 얻고 있습니다. 이 논문은 환각 상태의 NeRF 문제를 연구합니다: 즉, 관광 이미지 그룹에서 하루 중 다른 시간에 현실적인 NeRF를 복구하는 것입니다. 기존 솔루션은 다양한 조건에서 새로운 뷰를 렌더링하기 위해 제어 가능한 외관 임베딩을 갖춘 NeRF를 채택하지만, 보이지 않는 외관으로 뷰 일관성 있는 이미지를 렌더링할 수는 없습니다. 이 문제를 해결하기 위해 Ha-Ne..

FastNeRF 아키텍처는 동일한 작업을 캐싱할 수 있는 두 개의 신경망으로 나눔. 위치 종속 네트워크 F_pos는 D 구성 요소로 구성된 딥 래디언스 맵(u, v, w)을 출력하고 F_dir는 ray 방향이 주어진 해당 구성 요소(β_1, ..., β_D)의 가중치를 입력으로 출력합니다. Caching단일 픽셀을 렌더링하기 위해 평가되어야 하는 많은 수의 샘플을 고려할 때, F 계산 비용은 NeRF 렌더링의 총 비용을 지배합니다. 따라서 NeRF를 가속화하기 위해 장면의 공간을 덮는 입력 세트에 대한 출력을 캐싱하여 F의 테스트 시간 비용을 줄이려고 시도할 수 있습니다. 그런 다음 캐시는 F를 계산하는 데 걸리는 시간의 몇 분의 일로 평가될 수 있습니다. 학습된 NeRF 모델의 경우 NeRF에 의해 캡..