GAUDI: A Neural Architect for Immersive 3D Scene Generation Miguel Angel Bautista, Pengsheng Guo, Samira Abnar, Walter Talbott, Alexander Toshev, Zhuoyuan Chen, Laurent Dinh , Shuangfei Zhai, Hanlin Goh, Daniel Ulbricht, Afshin Dehghan, Josh Susskind Abstract 우리는 움직이는 카메라에서 몰입적으로 렌더링할 수 있는 복잡하고 현실적인 3D 장면의 분포를 캡처할 수 있는 생성 모델인 GAUDI를 소개한다. 우리는 확장 가능하면서도 강력한 접근 방식으로 이 어려운 문제를 해결한다, 여기서 우리는 먼저 radi..

GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images Jun Gao, Tianchang Shen, Zian Wang, Wenzheng Chen, Kangxue Yin, Daiqing Li, Or Litany, Zan Gojcic, Sanja Fidler Abstract 여러 산업이 대규모 3D 가상 세계를 모델링하는 방향으로 나아감에 따라 3D 콘텐츠의 양, 품질 및 다양성 측면에서 확장할 수 있는 콘텐츠 생성 도구의 필요성이 분명해지고 있습니다. 우리 연구에서는 3D 렌더링 엔진이 직접 소비할 수 있는 질감 있는 메시를 합성하여 다운스트림 애플리케이션에서 즉시 사용할 수 있는 성능 3D 생성 모델을 학습하는 것을..

Decomposing NeRF for Editing via Feature Field Distillation Sosuke Kobayashi, Eiichi Matsumoto, Vincent Sitzmann Abstract 새로운 neural radiance fields (NeRF)는 컴퓨터 그래픽의 유망한 장면 표현으로 이미지 관찰에서 고품질 3D 재구성과 새로운 뷰 합성을 가능하게 한다. 그러나 MLP 또는 복셀 그리드와 같은 기본 연결주의적 표현은 객체 중심적이거나 구성적이지 않기 때문에 NeRF로 대표되는 장면을 편집하는 것은 어렵다. 특히 특정 영역이나 객체를 선택적으로 편집하는 것이 어려웠다. 본 연구에서는 NeRF의 semantic 장면 분해 문제를 해결하여 표현된 3D 장면의 쿼리 기반 로컬 편..

Learning Loss for Active Learning Donggeun Yoo, In So Kweon Abstract 심층 신경망의 성능은 주석이 달린 데이터가 많을수록 향상된다. 문제는 주석 예산이 제한적이라는 점이다. 이에 대한 한 가지 해결책은 모델이 불확실하다고 인식한 데이터에 주석을 달도록 인간에게 요청하는 active learning이다. 딥 네트워크에 active learning을 적용하기 위해 최근 다양한 방법이 제안되었지만 대부분은 타겟 작업에 특화되거나 대규모 네트워크에 대해 계산적으로 비효율적이다. 본 논문에서는 간단하지만 작업에 구애받지 않고 심층 네트워크와 효율적으로 작동하는 새로운 active learning 방법을 제안한다. 우리는 "loss prediction modul..

Generative Modeling by Estimating Gradients of the Data Distribution Yang Song, Stefano Ermon Abstract score matching으로 추정된 데이터 분포의 그레디언트를 사용하여 Langevin dynamics을 통해 샘플이 생성되는 새로운 생성 모델을 소개한다. 그레디언트는 데이터가 저차원 매니폴드에 상주할 때 잘못 정의되고 추정하기 어려울 수 있기 때문에, 우리는 다른 레벨의 가우시안 노이즈로 데이터를 섭동시키고 해당 score, 즉 모든 노이즈 레벨에 대한 섭동된 데이터 분포의 벡터 필드를 jointly 추정한다. 샘플링을 위해 샘플링 프로세스가 데이터 매니폴드에 가까워질수록 점차 감소하는 노이즈 레벨에 해당하는 그레디언..

Diffusion Models Beat GANs on Image Synthesis Prafulla Dhariwal, Alex Nichol Abstract 우리는 diffusion 모델이 현재의 SOTA 생성 모델보다 우수한 이미지 샘플 품질을 달성할 수 있음을 보여준다. 우리는 일련의 ablations를 통해 더 나은 아키텍처를 찾아 무조건적 이미지 합성에서 이를 달성한다. 조건적 이미지 합성을 위해 classifier guidance를 통해 샘플 품질을 추가로 개선한다: classifier의 그레디언트를 사용하여 충실도를 위해 다양성을 교환하는 간단하고 계산 효율적인 방법. 우리는 ImageNet 128x128에서 2.97, ImageNet 256x256에서 4.59, ImageNet 512x512에서..