Decomposing NeRF for Editing via Feature Field Distillation Sosuke Kobayashi, Eiichi Matsumoto, Vincent Sitzmann Abstract 새로운 neural radiance fields (NeRF)는 컴퓨터 그래픽의 유망한 장면 표현으로 이미지 관찰에서 고품질 3D 재구성과 새로운 뷰 합성을 가능하게 한다. 그러나 MLP 또는 복셀 그리드와 같은 기본 연결주의적 표현은 객체 중심적이거나 구성적이지 않기 때문에 NeRF로 대표되는 장면을 편집하는 것은 어렵다. 특히 특정 영역이나 객체를 선택적으로 편집하는 것이 어려웠다. 본 연구에서는 NeRF의 semantic 장면 분해 문제를 해결하여 표현된 3D 장면의 쿼리 기반 로컬 편..

Learning Loss for Active Learning Donggeun Yoo, In So Kweon Abstract 심층 신경망의 성능은 주석이 달린 데이터가 많을수록 향상된다. 문제는 주석 예산이 제한적이라는 점이다. 이에 대한 한 가지 해결책은 모델이 불확실하다고 인식한 데이터에 주석을 달도록 인간에게 요청하는 active learning이다. 딥 네트워크에 active learning을 적용하기 위해 최근 다양한 방법이 제안되었지만 대부분은 타겟 작업에 특화되거나 대규모 네트워크에 대해 계산적으로 비효율적이다. 본 논문에서는 간단하지만 작업에 구애받지 않고 심층 네트워크와 효율적으로 작동하는 새로운 active learning 방법을 제안한다. 우리는 "loss prediction modul..

Generative Modeling by Estimating Gradients of the Data Distribution Yang Song, Stefano Ermon Abstract score matching으로 추정된 데이터 분포의 그레디언트를 사용하여 Langevin dynamics을 통해 샘플이 생성되는 새로운 생성 모델을 소개한다. 그레디언트는 데이터가 저차원 매니폴드에 상주할 때 잘못 정의되고 추정하기 어려울 수 있기 때문에, 우리는 다른 레벨의 가우시안 노이즈로 데이터를 섭동시키고 해당 score, 즉 모든 노이즈 레벨에 대한 섭동된 데이터 분포의 벡터 필드를 jointly 추정한다. 샘플링을 위해 샘플링 프로세스가 데이터 매니폴드에 가까워질수록 점차 감소하는 노이즈 레벨에 해당하는 그레디언..

Diffusion Models Beat GANs on Image Synthesis Prafulla Dhariwal, Alex Nichol Abstract 우리는 diffusion 모델이 현재의 SOTA 생성 모델보다 우수한 이미지 샘플 품질을 달성할 수 있음을 보여준다. 우리는 일련의 ablations를 통해 더 나은 아키텍처를 찾아 무조건적 이미지 합성에서 이를 달성한다. 조건적 이미지 합성을 위해 classifier guidance를 통해 샘플 품질을 추가로 개선한다: classifier의 그레디언트를 사용하여 충실도를 위해 다양성을 교환하는 간단하고 계산 효율적인 방법. 우리는 ImageNet 128x128에서 2.97, ImageNet 256x256에서 4.59, ImageNet 512x512에서..

Denoising Diffusion Probabilistic Models Jonathan Ho, Ajay Jain, Pieter Abbeel Abstract 우리는 비평형 열역학의 고려 사항에서 영감을 받은 잠재 변수 모델의 클래스인 diffusion 확률 모델을 사용하여 고품질 이미지 합성 결과를 제시한다. 우리의 최상의 결과는 diffusion 확률 모델과 Langevin dynamics와의 denoising score matching 사이의 새로운 연결에 따라 설계된 가중 변동 경계에 대한 학습을 통해 얻어지며, 우리의 모델은 자연스럽게 자기 회귀 디코딩의 일반화로 해석될 수 있는 점진적 lossy 압축 체계를 인정한다. 무조건적 CIFAR10 데이터 세트에서 Inception score 9.46과..

Depth-supervised NeRF: Fewer Views and Faster Training for Free Kangle Deng, Andrew Liu, Jun-Yan Zhu, Deva Ramanan Abstract 일반적으로 관찰되는 Neural Radiance Field (NeRF)의 실패 모드는 입력 뷰의 수가 충분하지 않을 때 잘못된 기하학적 구조를 맞추는 것이다. 한 가지 잠재적인 이유는 표준 볼륨 렌더링이 장면 기하학의 대부분이 빈 공간과 불투명한 표면으로 구성된다는 제약을 적용하지 않기 때문이다. 우리는 쉽게 이용할 수 있는 depth supervision을 활용하는 radiance field 분야의 loss인 DS-NeRF(Depth-Supervised Neural Radiance F..