Cross-Ray Neural Radiance Fields for Novel-view Synthesis from Unconstrained Image Collections Yifan Yang, Shuhai Zhang, Zixiong Huang, Yubing Zhang, Mingkui Tan AbstractNeural Radiance Fields (NeRF)는 픽셀당 단일 ray를 샘플링하여 장면을 렌더링하는 혁신적인 접근 방식으로, 정적 장면 이미지에서 새로운 뷰 합성에 인상적인 기능을 입증했습니다. 그러나 실제로는 일반적으로 제약이 없는 이미지 컬렉션에서 NeRF를 복구해야 하므로 두 가지 과제가 있습니다: 1) 이미지는 캡처 시간과 카메라 설정이 다르기 때문에 종종 외형이 동적으로 변화하며, 2) 이미..

NeRF-MS: Neural Radiance Fields with Multi-Sequence Peihao Li, Shaohui Wang, Chen Yang, Bingbing Liu, Weichao Qiu, Haoqian Wang AbstractNeural radiance fields (NeRF)는 단일 시퀀스 데이터로만 학습할 때 새로운 뷰 합성에서 인상적인 성능을 달성합니다. 그러나 더 나은 재구성 성능을 위해서는 서로 다른 시간에 서로 다른 카메라로 캡처한 멀티 시퀀스를 활용하는 것이 필수적입니다. 멀티 시퀀스 데이터에는 두 가지 주요 과제가 필요합니다: 조명 조건이 다르고 보행자와 같은 비 정적 물체로 인한 외관 변화. 이러한 문제를 해결하기 위해 멀티 시퀀스 데이터로 NeRF를 학습하는 새로운 접..

NeRF for Outdoor Scene Relighting Viktor Rudnev, Mohamed Elgharib, William Smith, Lingjie Liu, Vladislav Golyanik, Christian Theobalt Abstract사진에서 실외 장면을 사실적으로 편집하려면 이미지 형성 과정에 대한 깊은 이해와 장면 지오메트리, 반사율 및 조명의 정확한 추정이 필요합니다. 그런 다음 장면 알베도와 지오메트리를 변경하지 않으면서 조명을 섬세하게 조작할 수 있습니다. 뉴럴 래디언스 필드를 기반으로 한 실외 장면 재조명을 위한 최초의 접근 방식인 NeRF-OSR을 제시합니다. 기존 기술과 달리, 이 방법은 제어되지 않은 설정에서 촬영한 실외 사진 모음만 사용하여 조명과 카메라 시점을 동시..

Hallucinated Neural Radiance Fields in the Wild Xingyu Chen, Qi Zhang, Xiaoyu Li, Yue Chen, Ying Feng, Xuan Wang, Jue Wang AbstractNeural Radiance Fields (NeRF)는 최근 인상적인 새로운 뷰 합성 능력으로 인기를 얻고 있습니다. 이 논문은 환각 상태의 NeRF 문제를 연구합니다: 즉, 관광 이미지 그룹에서 하루 중 다른 시간에 현실적인 NeRF를 복구하는 것입니다. 기존 솔루션은 다양한 조건에서 새로운 뷰를 렌더링하기 위해 제어 가능한 외관 임베딩을 갖춘 NeRF를 채택하지만, 보이지 않는 외관으로 뷰 일관성 있는 이미지를 렌더링할 수는 없습니다. 이 문제를 해결하기 위해 Ha-Ne..

SF3D: Stable Fast 3D Mesh Reconstruction with UV-unwrapping and Illumination Disentanglement Mark Boss, Zixuan Huang, Aaryaman Vasishta, Varun Jampani Abstract저희는 단일 이미지에서 0.5초 만에 빠르고 고품질의 텍스처 객체 메쉬 재구성을 위한 새로운 방법인 SF3D를 소개합니다. 대부분의 기존 접근 방식과 달리 SF3D는 메쉬 생성을 위해 명시적으로 학습되어 정점 색상에 의존하지 않고 빠른 텍스처 생성을 가능하게 하는 빠른 UV 언랩 기술을 통합합니다. 이 방법은 재구성된 3D 메쉬의 시각적 품질을 향상시키기 위해 재료 매개변수와 노멀 맵을 예측하는 방법도 학습합니다. 또한 SF..

Adding Conditional Control to Text-to-Image Diffusion Models Lvmin Zhang, Anyi Rao, Maneesh Agrawala Abstract저희는 사전 학습된 대규모 text-to-image 디퓨전 모델에 공간 조건화 제어를 추가하기 위한 신경망 아키텍처인 ControlNet을 소개합니다. ControlNet은 프로덕션 준비가 된 대규모 디퓨전 모델을 잠그고, 수십억 개의 이미지로 사전 학습된 심층적이고 강력한 인코딩 레이어를 강력한 백본으로 재사용하여 다양한 조건부 제어 세트를 학습합니다. 신경망 아키텍처는 매개 변수를 0에서 점진적으로 확장하고 유해한 노이즈가 파인튜닝에 영향을 미치지 않도록 하는 "zero convolution"(제로 초기화 컨..