pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction David Charatan, Sizhe Lester Li, Andrea Tagliasacchi, Vincent Sitzmann Abstract우리는 이미지 쌍에서 3D 가우시안 프리미티브로 매개변수화된 3D 래디언스 필드를 재구성하는 방법을 학습하는 피드포워드 모델인 pixelSplat을 소개합니다.우리 모델은 확장 가능한 학습을 위한 실시간 및 메모리 효율적인 렌더링과 추론 시 빠른 3D 재구성을 제공합니다.희소하고 로컬적으로 지원되는 표현에 내재된 로컬 미니마 극복하기 위해, 우리는 3D에 걸친 밀집 확률 분포를 예측하고 그 확률 분포로..

EventPS: Real-Time Photometric Stereo Using an Event Camera Bohan Yu, Jieji Ren, Jin Han, Feishi Wang, Jinxiu Liang, Boxin Shi AbstractPhotometric stereo는 물체의 표면 노멀을 추정하는 잘 확립된 기술입니다.그러나 다양한 조명 조건에서 여러 개의 높은 동적 범위 이미지를 캡처해야 하는 요구 사항은 속도와 실시간 응용 프로그램을 제한합니다.이 논문은 이벤트 카메라를 사용하여 실시간 photometric stereo에 대한 새로운 접근 방식인 EventPS를 소개합니다.이벤트 카메라의 뛰어난 시간 해상도, 동적 범위, 낮은 대역폭 특성을 활용하여, EventPS는 래디언스 변화만으로 표면 ..

Mip-Splatting: Alias-free 3D Gaussian Splatting Zehao Yu, Anpei Chen, Binbin Huang, Torsten Sattler, Andreas Geiger Abstract최근 3D Gaussian Splatting은 인상적인 새로운 뷰 합성 결과를 보여주어 높은 충실도와 효율성에 도달했습니다. 그러나 샘플링 속도를 변경할 때 예를 들어 초점 거리나 카메라 거리를 변경하여 강력한 아티팩트를 관찰할 수 있습니다. 저희는 이 현상의 원인이 3D 주파수 제약의 부족과 2D 확장 필터의 사용에 기인할 수 있음을 발견했습니다. 이 문제를 해결하기 위해 입력 뷰에 의해 유도된 최대 샘플링 주파수를 기반으로 3D Gaussian 원시의 크기를 제한하는 3D 평활 필터..

3D Gaussian Splatting for Real-Time Radiance Field Rendering BERNHARD KERBL, GEORGIOS KOPANAS, THOMAS LEIMKÜHLER, GEORGE DRETTAKIS Radiance Field 방법은 최근 여러 사진 또는 비디오로 캡처된 장면의 새로운 뷰 합성에 혁신을 일으키고 있습니다. 그러나 높은 시각적 품질을 달성하려면 학습 및 렌더링에 비용이 많이 드는 신경망이 여전히 필요하며, 최근의 더 빠른 방법은 필연적으로 품질과 속도를 맞바꾸어야 합니다. (분리된 객체가 아닌) 경계가 없고 완전한 장면 및 1080p 해상도 렌더링의 경우 현재 방법으로는 실시간 디스플레이 속도를 달성할 수 없습니다. 경쟁력 있는 학습 시간을 유지하면서 SO..

Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa Abstract 텍스트 명령으로 NeRF 장면을 편집하는 방법을 제안합니다. 장면의 NeRF와 이를 재구성하는 데 사용된 이미지 모음을 고려할 때, 우리의 방법은 이미지 조건 diffusion 모델(InstructPix2Pix)을 사용하여 기본 장면을 최적화하면서 입력 이미지를 반복 편집하여 편집 명령을 존중하는 최적화된 3D 장면을 생성합니다. 우리는 제안된 방법이 대규모의 실제 장면을 편집할 수 있으며 이전 작업보다 더 현실적이고 타겟화된 편집을 수행할 수..

D-NeRF: Neural Radiance Fields for Dynamic Scenes Albert Pumarola, Enric Corona, Gerard Pons-Moll, Francesc Moreno-Noguer Abstract 머신러닝과 기하학적 추론을 결합한 신경 렌더링 기술은 희소한 이미지 집합에서 장면의 새로운 뷰를 합성하기 위한 가장 유망한 접근법 중 하나로 부상했습니다. 이 중에서도 5D 입력 좌표(공간 위치 및 뷰 방향을 나타내는)를 볼륨 밀도와 뷰에 의존하는 방출된 radiance로 매핑하도록 심층 네트워크를 학습시키는 Neural radiance fields (NeRF) [31]가 눈에 띕니다. 그러나 생성된 이미지에서 전례 없는 수준의 포토리얼리즘을 달성했음에도 불구하고 NeRF는..