An Efficient and Multi-Modal Navigation System with One-Step World Model

An Efficient and Multi-Modal Navigation System with One-Step World Model

 

Tsinghua University, Xiaomi

 

One-Step World Model Navigation — 느린 월드 모델을 실시간으로 끌어올린 트릭

한 줄 요약: "액션을 머릿속으로 상상해보고 제일 나은 걸 고르는" 월드 모델 내비게이션은 아이디어는 좋은데 너무 느려서 실제 로봇엔 못 썼다. 이 논문은 생성을 한 방에 끝내는 트릭으로 이걸 실시간급으로 만들고, 이미지·언어·포인트 목표를 하나의 프레임워크로 묶는다.

1. 무슨 문제를 푸는가

월드 모델 기반 내비게이션의 핵심 아이디어는 이렇다. 로봇이 "이 액션을 하면 다음에 뭐가 보일까?"를 미리 그려보고(= 미래 관측 예측), 여러 후보 액션을 각각 그려본 다음, 목표에 제일 가까운 결과를 내는 액션을 고른다. 사람이 길을 찾을 때 머릿속으로 시뮬레이션하는 것과 비슷하다. End-to-end 정책 (GNM, ViNT, NoMaD 등)이 관측을 액션에 바로 매핑하는 "블랙박스"라 3D 공간 추론이 약한 것과 달리, 월드 모델은 명시적으로 미래를 상상하므로 공간 추론에 강하다.

문제는 "그려보는" 비용이 너무 크다는 것이다. 기존 방식은 두 가지 이유로 느리다.

• diffusion: 노이즈를 여러 번 반복해서 걷어내야 이미지 한 장이 나온다.
• autoregressive: 미래 프레임을 한 장씩 순서대로 생성한다 → 느린 데다 오차가 뒤로 갈수록 누적된다.

여기에 "후보 액션 여러 개를 평가하는" 플래너까지 곱해지면 지연 시간이 폭발한다. 그래서 고주파 제어가 필요한 실제 로봇에는 못 올린다. 이게 이 논문이 깨려는 병목이다.

2. 핵심 아이디어 (한 문장)

반복 생성을 → 한 스텝 생성으로 바꾸고 (shortcut model), 미래 프레임을 한 장씩이 아니라 전부 동시에 예측한다 (3D U-Net). 그 위에 가벼운 플래너를 얹어 멀티모달 목표를 처리한다.

3. 어떻게 동작하나

(1) One-step 생성 — shortcut model

노이즈를 여러 번 걷어내는 대신, 모델이 "스텝 크기 d"까지 입력으로 받아서 한 번에 점프하도록 학습한다. 학습은 두 종류의 loss로:

• 가장 작은 스텝 (d_min)은 표준 flow matching loss로 학습.
• 더 큰 스텝 (d_min < d < 1)은 작은 두 개의 substep (각 d/2)을 거친 궤적과 한 번에 점프한 결과가 일치하도록 만드는 bootstrap consistency loss로 학습 (distillation).

이렇게 distill하면 가우시안 노이즈에서 미래 관측을 단 한 스텝에 생성할 수 있게 된다. 추론 시간이 크게 줄어드는 게 여기서 나온다.

(2) 미래 프레임 동시 예측 — 3D U-Net + 시공간 어텐션

기존 NWM처럼 프레임을 한 장씩 자기회귀로 뽑으면 오차가 쌓이고 느리다. 대신 3D U-Net 백본으로 11개 미래 프레임을 한 번의 forward로 동시에 뽑는다. CNN과 트랜스포머를 섞은 하이브리드 구조 (Stable Diffusion에서 차용)이고, 관측은 VAE로 latent에 압축한 뒤 거기서 생성하고 다시 디코딩한다.

어텐션은 비용 때문에 공간/시간을 분리한다 — 전체 시공간 볼륨을 한꺼번에 어텐션 걸면 길이의 제곱으로 비용이 터지니까. 프레임 안은 공간적 어텐션, 프레임 사이는 시간적 어텐션으로 따로 처리하고, 시간적 어텐션은 각 프레임을 m×m 윈도우로 쪼개 로컬에서만 계산해 컨텍스트 길이를 줄인다.

액션 입력은 N개의 상대 웨이포인트 (x, y, φ)인데, 연속성을 위해 각도 φ를 (cos φ, sin φ)로 인코딩해 (N, 4) 벡터로 만들고, 4-layer MLP로 임베딩한 뒤 크로스-어텐션으로 공간 블록에 조건으로 넣는다.

(3) 플래너 — CEM + 앵커 초기화

후보 액션 궤적을 샘플링 → 월드 모델로 결과 상상 → 목표와의 점수 매김 → Cross-Entropy Method (CEM)로 반복 최적화. 샘플은 32개, 매 반복 상위 5개를 골라 5번 반복한다.

샘플이 32개뿐이라 랜덤 초기화는 액션 공간을 잘 못 덮는다. 그래서 고정된 선형·각속도 세트로 시작하는 앵커 초기화를 쓴다. 이게 더 부드럽고 집중된 궤적을 만들어 성능을 크게 올린다.

(4) 멀티모달 목표 = 점수 함수만 교체

프레임워크는 그대로 두고 채점 기준만 바꾸는 게 깔끔한 설계 포인트다.

• 이미지 목표: LPIPS로 점수. 토폴로지 메모리 그래프로 장거리 내비게이션.
• 언어 목표: SigLIP로 점수. Qwen2-VL로 목표 이미지 → 언어 지침 생성.
• 포인트 목표: Depth-Anything으로 깊이 추정. loss = (궤적 끝점과 목표 좌표 사이 유클리드 거리) + (예측 이미지 중앙 영역의 음의 평균 깊이 → 장애물 근접 페널티)의 가중합.
  
  

(5) 학습 디테일

한 실내 장면에서 500개 궤적만 모으는데, 이것만으론 예측 품질이 떨어진다. 그래서 ① 대규모 공개 내비게이션 데이터로 pretrain 후 finetune, ② 랜덤 궤적 샘플링(최종 프레임을 랜덤 선택 + 그 사이 10프레임 랜덤 샘플)으로 데이터 다양성을 키운다.

 

 

 

Abstract

내비게이션은 모바일 로봇의 기본 기능입니다.
현재의 추세는 전통적인 지오메트리 기반 방법을 대체하기 위해 학습 기반 접근 방식을 사용하는 것이지만, 기존의 종단 간 학습 기반 정책은 종종 3D 공간 추론에 어려움을 겪으며 물리적 세계 역학에 대한 포괄적인 이해가 부족합니다.

월드 모델—주어진 액션을 바탕으로 미래의 관찰을 예측하는 것—을 반복적인 최적화 계획과 통합하는 것은 상상력과 유연성 덕분에 유망한 솔루션을 제공합니다.
그러나 일반적으로 순수 트랜스포머 아키텍처를 기반으로 하는 현재의 내비게이션 월드 모델은 멀티 스텝 디퓨전 과정과 프레임별 자기회귀 생성에 의존하는 경우가 많습니다.
이러한 메커니즘은 엄청난 계산 지연을 초래하여 실시간 배포를 불가능하게 만듭니다.
이 병목 현상을 해결하기 위해, 우리는 1단계 생성 패러다임과 효율적인 시공간 어텐션 기능을 갖춘 3D U-Net 백본을 채택한 경량 내비게이션 월드 모델을 제안합니다.
이 설계는 추론 지연 시간을 크게 줄여 고주파 제어를 가능하게 하면서도 뛰어난 예측 성능을 달성합니다.
또한 이 모델을 앵커 기반 초기화를 활용하여 멀티모달 목표 탐색 작업을 처리하는 최적화 기반 계획 프레임워크에 통합합니다.
시뮬레이션과 실제 환경 모두에서 광범위한 폐쇄 루프 실험을 통해 우리 시스템이 SOTA 베이스라인에 비해 우수한 효율성과 견고성을 입증했습니다.

 

 

 

1   Introduction

시각적 내비게이션은 로봇이 복잡하고 비구조화된 환경에서 주변 환경을 인식하고 타겟 목표를 달성할 수 있도록 자율 로봇 공학의 초석을 구성합니다.
최근 몇 년 동안 대규모 데이터셋을 활용하여 GNM [Shah et al., 2023a], ViNT [Shah et al., 2023b], NoMaD [Sridhar et al., 2024]와 같은 방법들이 놀라운 견고성과 일반화 능력을 입증했습니다.
그러나 이러한 종단 간 정책은 종종 "black boxes"로 작동하여 명시적인 3D 공간 추론 없이도 관찰을 액션에 직접 매핑하기 때문에 어려운 탐색 작업에서 성능이 제한됩니다.

 

월드 모델 [Ha and Schmidhuber, 2018]은 로봇이 결과를 'imagine'할 수 있도록 하여 공간 추론을 향상시킴으로써 종단 간 정책에 대한 유망한 대안을 제시합니다 [Yang et al., 2025].
최근 연구들은 비디오 예측과 계획 [Bar et al., 2025; Zhou et al., 2025]을 통합하고 있지만, 실제 배포는 중요한 병목 현상에 직면해 있습니다: 계산 지연 시간.
SOTA 모델은 주로 디퓨전 프레임워크에 의존하며, 반복적인 디노이징과 자기회귀 생성이 상당한 지연 시간과 오류를 축적합니다.
이 오버헤드는 여러 액션 후보를 평가하는 계획 알고리즘과 결합될 때 과도하게 증가하여 실시간 사용을 방해합니다.
또한 이전 연구들은 주로 개방형 루프, 이미지 목표 평가에 초점을 맞추고 있지만, 내비게이션 월드 모델은 멀티모달 목표를 처리할 수 있는 잠재력을 가지고 있으며, 시뮬레이션과 실제 환경 모두에서 폐쇄형 루프 실험이 그 효과를 검증하는 데 필수적입니다.

 

이 연구에서는 실시간 추론을 위해 특별히 설계된 경량 내비게이션 월드 모델을 제안합니다.
표준 디퓨전 기반 접근 방식이 느린 반복 샘플링에 어려움을 겪는 것과 달리, 우리 모델은 한 단계 생성 패러다임 [Fans et al., 2024]을 채택합니다.
이는 미래 관측치를 예측하는 데 필요한 추론 시간을 크게 줄여 예측 모델링을 고주파 제어 루프에 통합하는 것을 가능하게 합니다.
또한, 우리는 3D U-Net 백본에 내장된 계산 효율적인 공간-시간 어텐션 메커니즘을 도입하여 모델이 비자기회귀 방식으로 모든 미래 프레임을 동시에 예측할 수 있도록 합니다.
이 시너지 디자인은 생성 효율성을 크게 높이는 동시에 예측된 시퀀스의 품질을 효과적으로 향상시킵니다.
제한된 데이터 영역에서 성능을 더욱 향상시키기 위해 전략적 사전 학습과 랜덤 궤적 샘플링을 통합하여 견고한 생성을 촉진합니다.

그림 1: 우리는 월드 모델과 계획 전략을 기반으로 한 통합 내비게이션 프레임워크를 제시합니다. 제안된 시스템은 이미지 목표, 언어 목표, 포인트 목표 탐색 작업을 원활하게 수용하여 다양한 목표 모달리티를 지원하는 데 직접 사용할 수 있습니다.

이 효율적인 월드 모델을 기반으로 최적화 기반 계획 프레임워크와 통합하여 작업별 loss 함수를 활용하여 작업 샘플을 반복적으로 정제합니다.
이러한 통합은 멀티모달 목표 조건 하에서 내비게이션을 가능하게 하며, 그림 1에 나타난 바와 같이 이미지 목표, 언어 목표, 포인트 목표 내비게이션 작업을 통합된 프레임워크에서 성공적으로 포괄합니다.
궤적 초기화 전략과 loss 함수 설계에 대한 종합적인 탐구를 통해 우수한 성능을 갖춘 계획 프레임워크를 수립합니다.
이러한 노력들은 누적적으로 강력한 폐쇄 루프 월드 모델 기반 내비게이션 시스템을 만들어내며, 시뮬레이션과 실제 환경 모두에서 효과적이고 효율적임을 입증합니다.

 

우리의 주요 기여는 다음과 같이 요약됩니다:
 • 우리는 원스텝 생성 패러다임, 시공간 어텐션, 사전 학습 전략을 활용한 가볍지만 효과적인 내비게이션 월드 모델을 제안합니다.
 • 우리는 앵커 기반 초기화를 활용한 계획 프레임워크와 월드 모델을 통합하여 멀티모달 목표 내비게이션을 위한 통합 내비게이션 시스템을 개발합니다.
 • 우리는 시뮬레이션과 실제 환경 모두에서 폐루프 실험을 통해 제안된 방법의 우수성을 입증합니다.

 

 

 

2   Related Work

2.1 Learning Based Visual Navigation

내비게이션 문제에 대한 전통적인 해결책은 일반적으로 서로 다른 위치 추정, 매핑 및 계획 모듈로 구성됩니다 [LaValle, 2006].
머신러닝의 등장으로 시각적 내비게이션을 위한 학습 기반 솔루션으로 초점이 옮겨가고 있습니다.
GNM [Shah et al., 2023a]는 다양한 로봇 데이터셋에 대한 학습이 일반화를 촉진한다는 것을 보여줍니다.

ViNT [Shah et al., 2023b]와 EffoNAV [Shen et al., 2025]는 트랜스포머 아키텍처와 시각적 파운데이션 모델을 사용하여 일반 환경에서 이미지 목표 탐색을 위한 파운데이션 모델을 수립함으로써 이를 더욱 발전시킵니다.
NoMaD [Sridhar et al., 2024]는 디퓨전 모델을 활용하여 단일 프레임워크 내에서 탐색 및 탐색 작업을 모두 수행합니다.
NavDP [Cai et al., 2025]는 비평 함수와 함께 디퓨전 기반 궤적 생성을 활용하여 강력하고 효율적인 sim-to-real 내비게이션을 가능하게 합니다.
LeLaN [Hirose et al., 2024]은 레이블이 없고 액션이 없는 동영상에서 언어 조건부 내비게이션 정책을 학습합니다.
OmniVLA [Hirose et al., 2025]는 일반화 가능하고 유연한 옴니모달 로봇 파운데이션 모델을 제시합니다.
학습 기반 내비게이션 솔루션을 도입하여 상당한 진전을 이루었지만, 현재의 방법들은 공간적 추론 능력이 제한되어 있어 최적의 내비게이션 성능을 발휘하지 못하고 있습니다.

 

2.2 World Model for Embodied Intelligence

종단 간 정책과 달리, 월드 모델 [Ha and Schmidhuber, 2018]의 주요 목표는 환경 역학을 시뮬레이션하는 것입니다.
초기 연구는 강화 학습에서 샘플 효율성을 향상시키는 데 중점을 두었지만 [Hafner et al., 2019; Hafner et al., 2023], 최근 연구들은 고차원 시각 생성 및 계획을 위해 월드 모델을 활용하고 있습니다.
Pathdreamer [Koh et al., 2021], UniPi [Du et al., 2023], Genie [Bruce et al., 2024]와 같은 접근 방식은 상호작용과 탐색을 용이하게 하기 위해 그럴듯한 미래 관측치를 생성합니다.
또한 월드 모델과 계획을 통합하는 것은 상당한 가능성을 보여주었습니다.

NWM [Bar et al., 2025]은 생성 예측을 활용하여 액션 시퀀스를 최적화하는 반면, [Zhou et al., 2025]는 시간적 일관성을 위해 3D 메모리를 도입합니다.
그러나 이러한 생성 프로세스의 높은 계산 비용으로 인해 실시간 배포가 불가능합니다.
반면에, DINO-WM [Zhou et al., 2024] 및 [Zhang et al., 2025]와 같은 접근 방식은 계산 오버헤드를 최소화하기 위해 잠재 공간 내에서 월드 모델을 구성합니다.
그러나 잠재 공간에서만 생성 및 계획을 수행하는 것은 종종 명시적인 3D 공간 예측을 생성할 수 없으며, 다양한 목표 모달을 통합된 프레임워크에 통합할 수 없습니다.

 

 

 

3   Methods

3.1 One-Step World Model for Navigation

공식적으로 내비게이션 월드 모델은 현재 관측 s_τ와 액션 a_τ를 기반으로 미래 관측 s_(τ+1)을 예측하도록 설계되었습니다.

기존의 생성 접근 방식은 일반적으로 디퓨전 모델 [Ho et al., 2020; Song et al., 2020] 또는 플로우 매칭 모델 [Lipman et al., 2022]을 활용하지만, 이들의 샘플링 과정은 수많은 신경망 패스에 대한 반복적인 디노이징을 필요로 하여 생성 비용이 많이 듭니다.

이 문제를 해결하기 위해, 우리는 한 단계 생성을 가능하게 하는 shortcut 학습 objective [Fans et al., 2024]를 채택하여 계산 추론 시간을 크게 단축합니다.

shortcut 모델은 플로우 시간 단계 t뿐만 아니라 바람직한 단계 크기 d에도 조건화됩니다.

공식적으로, 월드 모델 f_θ은 속도 벡터 v_t = f_θ(s^(t)_τ+1, s_τ, a_τ, t, d)를 예측합니다, 여기서 s^(t)_τ+1은 노이즈가 있는 미래 관측을 나타냅니다.

최소 스텝 크기 d_min의 경우, 모델은 표준 플로우 매칭 loss를 사용하여 학습됩니다.

더 큰 스텝 크기 d_min < d < 1의 경우, 그림 2(a)와 같이 두 개의 작은 하위 스텝 (사이즈 d/2)의 궤적을 단일 스텝으로 증류하는 부트스트랩 일관성 loss가 사용됩니다.

학습 objective는 다음과 같이 공식화됩니다:

이 증류 학습을 사용하여 내비게이션 월드 모델은 한 단계 내에서 가우시안 노이즈로부터 미래 관측값을 생성하는 방법을 학습합니다.

그림 2: 월드 모델 아키텍처와 월드 모델 기반 플래너의 일러스트레이션. (a) 제안된 내비게이션 월드 모델의 아키텍처. 3D U-Net 백본을 기반으로 구축된 이 모델은 컨볼루션 레이어와 시공간 어텐션 블록을 통합하고 shortcut objectuve를 사용하여 학습됩니다. (b) 액션 최적화 과정은 탐색 목표를 조건으로 합니다. 월드 모델을 활용하여 loss 함수를 활용하여 액션 후보를 점수화함으로써 멀 모달 목표로 탐색할 수 있습니다.

3.2 Architecture of Navigation World Model

이전 섹션의 공식에 이어 이제 월드 모델 f_θ의 구현 세부 사항을 제공합니다.
기존 내비게이션 월드 모델 [Bar et al., 2025]은 주로 자기회귀 접근 방식을 채택하여 프레임 단위로 반복적으로 예측을 생성합니다.
우리는 이러한 자기회귀 방법이 오랜 기간 동안 오류 축적으로 인해 성능 저하를 겪고 높은 계산 지연 시간을 초래한다고 주장합니다.
대신, 제안된 아키텍처는 3D U-Net 백본을 활용하여 11개의 미래 프레임 시퀀스를 동시에 예측합니다.
Stable Diffusion 프레임워크 [Rombach et al., 2022]에서 영감을 받아, 우리는 CNN과 트랜스포머를 통합한 하이브리드 구조를 사용하여 시공간 의존성을 포착합니다, 이는 그림 2에 나타나 있습니다.
우리는 사전 학습된 VAE [Rombach et al., 2022]를 활용하여 관측값을 잠재 공간으로 압축합니다.
미래의 관측값은 압축된 표현의 이점을 활용하기 위해 이 잠재 공간 내에서 직접 생성됩니다.
마지막으로, 생성된 잠재 표현은 VAE에 의해 디코딩되어 픽셀 공간에서 이미지를 복구합니다.

 

Action Embedding.

액션 입력 a_τ는 N개의 상대 웨이포인트 (x, y, ϕ)로 구성됩니다.
연속성을 보장하기 위해, 우리는 ϕ를 (cos ϕ, sin ϕ)으로 인코딩하여 (N, 4) 벡터를 형성합니다.
이 입력은 4-레이어 MLP에 의해 고차원 임베딩으로 투영되며, 크로스어텐션을 통해 공간 어텐션 블록을 조건화합니다.

 

Spatial and Temporal Attention.

3D U-Net 아키텍처에서 각 처리 블록은 세 가지 구성 요소로 구성됩니다: CNN 모듈, 공간 어텐션 모듈, 그리고 시간 어텐션 모듈.
트랜스포머 아키텍처의 계산 복잡성이 컨텍스트 길이에 따라 이차적으로 확장되기 때문에 전체 시공간 볼륨을 전역적으로 처리하는 것은 계산적으로 불가능합니다.
따라서 이전 연구에서 수행한 것처럼 공간 모델링과 시간 모델링을 분리합니다 [Blattmann et al., 2023; Wang et al., 2023].
CNN과 공간 어텐션 모듈은 프레임 단위로 작동하며, 프레임 간 상호작용 없이 프레임 내 공간 의존성을 포착하는 데에만 집중합니다.
반대로, 시간 어텐션 모듈은 프레임 간 정보 전파에 전념합니다.
우리는 시간 모듈을 위해 윈도우 기반 어텐션 메커니즘 [Liu et al., 2021; Gu et al., 2023]을 사용합니다, 특히, 각 프레임을 m × m 공간 영역 (윈도우)으로 분할합니다.
어텐션 작업은 로컬에서 제한되므로 토큰은 동일한 공간 윈도우 내에 있는 다른 토큰과만 어텐션 점수를 계산하여 시공간 일관성을 유지하면서 컨텍스트 길이를 줄입니다.

 

3.3 Training Details

[Bar et al., 2025]에 설명된 설정에 따라, 우리는 학습을 위해 단일 실내 환경 내에서 500개의 궤적을 수집합니다.
모델 학습 중에는 랜덤 궤적 샘플링 전략을 채택합니다:
최종 프레임의 위치는 랜덤으로 선택되며, 현재 프레임과 최종 프레임 사이에 10개의 프레임이 랜덤으로 샘플링되어 하나의 학습 인스턴스를 생성합니다.
이 접근 방식은 제한된 데이터셋 내에서 궤적 다양성을 효과적으로 증가시킵니다.

 

실험에서 우리는 새로운 장면에서 수집된 데이터에만 의존하는 것이 내비게이션 월드 모델의 예측 품질을 저하시킨다는 것을 관찰했습니다.
이 문제를 해결하기 위해 먼저 대규모 공공 내비게이션 데이터셋 [Shah et al., 2023a]을 기반으로 base 모델을 학습하여 사전 학습된 내비게이션 월드 모델을 얻습니다.
그런 다음 새로운 환경에서 수집한 특정 데이터를 사용하여 이 사전 학습된 모델을 파인튜닝합니다.
우리의 결과는 이 사전 학습 전략이 내비게이션 성능을 크게 향상시킨다는 것을 보여줍니다.

 

3.4 Navigation with World Model

주어진 액션을 조건으로 미래 관찰을 예측하는 월드 모델의 능력을 활용하여 모델 기반 계획 프레임워크를 구현합니다.
구체적으로, 우리는 후보 액션 샘플 세트에 대한 미래 관측값을 생성하기 위해 월드 모델을 사용합니다.
각 샘플은 특정 내비게이션 목표 (예: 이미지, 언어 또는 포인트 골)와의 정렬을 기준으로 점수가 매겨집니다.
우리는 이 과정을 최적화하고 최적의 액션을 선택하기 위해 Cross-Entropy Method (CEM) [Rubinstein, 1997]을 사용합니다.

그림 3: 앵커 기반 초기화와 랜덤 초기화의 비교.

계산 오버헤드를 최소화하기 위해 각 최적화 단계에서 샘플 크기를 32개의 작업으로 제한합니다.
그러나 샘플 크기가 제한적이기 때문에 랜덤 초기화가 종종 액션 공간을 충분히 커버하지 못한다는 것을 관찰할 수 있습니다.
이로 인해 플래너의 초기화가 최적화되지 않아 궁극적으로 내비게이션 성능이 저하됩니다.
이를 해결하기 위해 그림 3과 같이 고정된 선형 및 각속도 세트를 사용하여 초기 후보 궤적을 생성하는 앵커 기반 초기화 전략을 사용합니다.
경험적 결과에 따르면 이러한 앵커 기반 접근 방식의 성능이 랜덤 초기화의 성능을 크게 능가하는 것으로 나타났습니다.

 

 

 

4   Generation Experiments

이 섹션에서는 제안된 1단계 내비게이션 월드 모델의 생성 품질을 평가합니다.

 

4.1 Experimental Setup

우리는 Habitat 시뮬레이터 [Szot et al., 2021]를 사용하여 MP3D 데이터셋 [Chang et al., 2017]에서 학습 데이터셋을 수집합니다.
각 데이터셋은 각각의 실내 장면 내에서 500개의 궤적으로 구성되어 있습니다.
모든 모델은 각 데이터 세트에서 독립적으로 학습되고 보이지 않는 궤적에서 테스트됩니다.

 

제안된 방법을 다음 베이스라인과 비교합니다:

 • NWM [Bar et al., 2025].

NWM은 Conditional Diffusion Transformer (CDiT) 아키텍처를 사용하여 프레임 단위로 미래 이미지를 자기회귀적으로 예측하는 내비게이션 월드 모델입니다.

우리는 모델과 유사한 매개변수 스케일로 인해 -B 변형을 사용하고, 원래의 디퓨전 모델을 shortcut 모델 [Frans et al., 2024]로 대체하여 우리의 방법에서 사용된 접근 방식과 일치합니다.
 • Ours (w/o random traj). 

학습에서 랜덤 궤적 샘플링 전략이 없는 우리 방법의 변형입니다.
 • Ours (w/o pretrain). 

대규모 공공 내비게이션 데이터셋에 대한 첫 번째 학습 없이 우리의 방법을 변형한 것입니다.

표 1: 다양한 방법의 생성 결과

4.2 Generation Performance

PSNR, SSIM [Wang et al., 2004], LPIPS [Zhang et al., 2018], DreamSim [Fu et al., 2023], FID [Heusel et al., 2017]을 활용하여 생성된 출력과 실제 데이터 간의 프레임별 유사성을 측정합니다.
생성된 비디오의 전체 시공간 품질을 평가하기 위해 FVD [Unterthiner et al., 2018]도 소개합니다.
또한, 생성 속도의 중요성을 고려하여, 우리는 NVIDIA H200 GPU에서 배치 크기가 1인 11개의 미래 프레임을 생성하기 위한 추론 시간을 보고합니다.
실험 결과는 표 1에 나와 있습니다.
정량적 결과는 제안된 모델의 우수성을 입증합니다.
제안된 모델이 프레임당 품질과 시공간 일관성 모두에서 NWM을 큰 차이로 능가한다는 것을 알 수 있습니다.
또한 제안된 모델은 계산 효율성이 훨씬 높아 유사한 매개변수 스케일로 추론 시간을 약 45%(0.076초 vs. 0.138초) 단축할 수 있습니다.
ablation 연구는 또한 랜덤 궤적 샘플링 전략과 공개 데이터셋에 대한 사전 학습이 모델 일반화를 현저히 향상시킨다는 것을 보여줍니다.

그림 4: 베이스라인과 우리 방법의 질적 비교. 초기 관찰 결과, 우리 모델에서 생성된 프레임은 NWM보다 더 높은 품질을 달성하며 ground truth와 밀접하게 일치합니다. 또한, 시각화는 공개 데이터셋에 대한 학습 및 사전 학습 중 랜 궤적 샘플링이 성능에 중요한 역할을 한다는 것을 보여줍니다.

그림 4에 나타난 바와 같이, NWM은 정확한 액션 수행에 어려움을 겪고 있습니다.
자기회귀 생성의 재귀적 특성은 복합 오류를 초래하여 실제 상황에서 심각한 위치 이동을 초래합니다.
반면에, 제안된 방법은 모든 미래 프레임을 하나의 전진 패스로 생성함으로써 이러한 문제를 완화합니다.
시간적 어텐션을 통합하면 모델이 시간적 종속성을 효과적으로 학습하여 긴 시퀀스 생성에서 더 높은 충실도를 보장할 수 있습니다.
또한, 대규모 데이터셋에 대한 사전 학습과 함께 랜덤 궤적 샘플링 전략을 사용하면 생성된 이미지의 시각적 품질과 세부 사항이 더욱 향상됩니다.

 

 

 

5   Navigation Experiments

5.1 Experimental Setup

제안된 월드 모델과 작업별 loss 함수를 활용하여, 우리의 방법은 멀티모달 목표에 의해 안내되는 내비게이션을 가능하게 합니다.
이미지 목표, 언어 목표, 포인트 목표 내비게이션을 성공적으로 실행하여 경쟁 베이스라인을 크게 능가합니다.
제안된 방법에 사용된 CEM 최적화를 위해 32개의 샘플 크기를 사용하고, 각 반복당 상위 5개의 샘플을 선택한 후 5번의 반복을 수행합니다.
실험 평가는 이미지 목표, 언어 목표, 포인트 목표 탐색을 위한 5가지 장면에 걸쳐 150개의 에피소드로 구성되어 있습니다.
우리는 내비게이션 성능을 평가하기 위해 Success Rate (SR)과 Success-weighted Path Length (SPL)를 사용합니다.
또한, 우리는 NVIDIA H200 GPU에서 측정된 각 방법의 추론 시간을 보고합니다.

 

섹션 4.1에서 언급된 비교 방법 외에도 제안된 방법을 여러 베이스라인과 비교합니다:

 • NoMaD [Sridhar et al., 2024].

탐색과 이미지 목표 탐색을 모두 처리하기 위해 목표 마스킹을 활용한 통합 디퓨전 정책.
 • OmniVLA [Hirose et al., 2025].

OpenVLA [Kim et al., 2024] 백본을 기반으로 구축된 옴니모달 로봇 내비게이션 모델.
 • Ours (random init).

섹션 3.4에서 설명한 바와 같이 앵커 기반 초기화 대신 CEM에서 랜덤 초기화를 적용한 우리 방법의 대체 변형입니다.

 

공정한 비교를 위해 제안된 앵커 기반 초기화 전략의 통합과 동일한 계획 loss 함수의 사용을 포함하여 우리 방법과 동일한 계획 구성을 사용하여 NWM 베이스라인을 평가합니다.

 

Image-Goal Navigation.

이미지 목표 탐색을 구현하기 위해, 우리는 LPIPS [Zhang et al., 2018]를 loss 함수로 사용하여 샘플링된 궤적을 점수화합니다.
이전 비전 기반 접근 방식 [Shah et al., 2023a; Sridhar et al., 2024]에서 영감을 받아 위상 메모리 시스템을 활용하여 장거리 내비게이션을 달성했습니다.
구체적으로, 이 과정은 첫 번째 관찰로 시작됩니다.
각 시간 단계마다 거리 추정 네트워크는 토폴로지 그래프에서 가장 가까운 노드를 식별하여 현재 위치를 추정합니다.
그 후, 인접 노드의 이미지가 즉시 타겟으로 정책 시스템에 입력됩니다.

 

Language-Goal Navigation.

언어 목표 탐색을 구현하기 위해, 우리는 샘플링된 궤적을 평가하기 위해 SigLIP [Zhai et al., 2023]을 점수 함수로 사용합니다.
우리는 Qwen2-VL [Wang et al., 2024]을 사용하여 작업의 목표 이미지를 조건으로 하는 내비게이션 언어 지침을 생성합니다.

 

Point-Goal Navigation.

포인트 목표 내비게이션을 구현하기 위해, 우리는 예측된 미래 이미지에 대해 모노 뎁스 추정을 수행하기 위해 Depth-Anything [Yang et al., 2024]을 통합합니다.
후보 궤적을 평가하기 위해 복합 계획 loss 함수를 공식화합니다.
구체적으로, 이 loss는 두 항의 가중 합으로 정의됩니다: (1) 샘플링된 궤적의 끝점과 목표 좌표 사이의 유클리드 거리, (2) 예측된 이미지의 중앙 영역에서 음의 평균 뎁스 값 (장애물과의 근접성을 페널티화하기 위해).

표 2: 이미지 목표, 언어 목표, 포인트 목표 작업의 탐색 결과

그림 5: 이미지 목표 (왼쪽)와 언어 목표 (오른쪽) 내비게이션에서 다양한 방법으로 예측된 궤적의 시각화.

5.2 Navigation Performance Results

표 2의 정량적 결과는 제안된 모델이 월드 모델 베이스라인 (NWM)과 종단 간 정책 (NoMaD, OmniVLA)을 모두 크게 능가한다는 것을 보여줍니다.
구체적으로, 이미지 목표 탐색 작업에서 우리의 방법은 72.67%의 Success Rate (SR)을 달성하여 NWM을 29.3%, OmniVLA를 36.0% 초과했습니다.

언어 목표 작업의 경우, 제안된 접근 방식이 69.33%로 가장 높은 SR을 달성하여 NWM을 18.0%, OmniVLA를 6.7% 초과했습니다.

그림 5는 동일한 관찰 하에서 다양한 방법으로 생성된 궤적을 시각화한 것입니다.
월드 모델 기반 방법이 뛰어난 공간 추론 및 시맨틱 이해 능력을 보인다는 것은 분명합니다.
특히, 현재와 목표 차이 사이에 상당한 상쇄가 있을 때, 종단 간 정책은 종종 기본적인 공간 관계를 포착하지 못하는 반면, 제안된 접근 방식은 목표 상대 기하학에 대한 정확한 이해를 유지합니다.
또한, 포인트 목표 작업에서 우리의 방법은 NWM에 필적하는 성능을 제공하면서도 OmniVLA를 지속적으로 능가하여 월드 모델 기반 프레임워크의 고유한 장점을 입증합니다.
결적으로, 제안된 방법은 NWM에 비해 추론 속도가 크게 향상되었습니다.
이러한 결과는 모든 미래 시퀀스 프레임을 동시에 예측하는 모델의 패러다임과 계산 효율적인 시공간 어텐션의 활용에 기인합니다.

 

5.3 Ablations

표 2는 제안된 전체 방법과 두 가지 ablation 변형 간의 성능 비교를 보여줍니다.
결과는 학습 중에 사용되는 사전 학습과 랜덤 궤적 샘플링 전략의 중요한 역할을 강조합니다.
또한, 제안된 앵커 기반 초기화 전략과 랜덤 초기화 전략을 비교하여 CEM 플래너 내 초기화의 영향을 평가합니다.
표 2에서 볼 수 있듯이 앵커 기반 접근 방식은 내비게이션 성능을 향상시키는 데 중요한 역할을 합니다.
이 장점은 그림 6의 정성적 시각화를 통해 더욱 입증되었으며, 이는 앵커 기반 초기화가 더 부드럽고 집중된 궤적 샘플을 생성하여 보다 효과적인 계획을 가능하게 한다는 것을 보여줍니다.

그림 6: 이미지 목표 (왼쪽)와 언어 목표 (오른쪽) 탐색에서 각각 앵커 기반과 랜덤 초기화를 사용한 예측 궤적의 질적 비교.

게다가, 우리는 언어 목표 탐색의 성능이 계획 loss 함수의 선택에 매우 민감하다는 것을 관찰했습니다.
이 점을 지적하기 위해, 우리는 세 가지 서로 다른 이미지-텍스트 정렬 모델—BLIP [Li et al., 2022], CLIP [Radford et al., 2021], SigLIP [Zhai et al., 2023]—을 가이던스 objective로 사용하여 비교 분석을 수행합니다.
정량적 결과는 표 3에 보고되어 있습니다.
SigLIP가 다른 이미지-텍스트 정렬 모델들을 능가하는 뛰어난 내비게이션 성능을 제공한다는 것을 알 수 있습니다.

표 3: 다양한 loss 함수의 언어 목표 탐색 결과

 

그림 7: 실제 평가에서 로봇 플랫폼의 개요.

6   Real-world Experiments

제안된 방법의 효과를 더욱 검증하기 위해, 우리는 그림 7에 나타난 바와 같이 Intel RealSense 카메라가 장착된 모바일 로봇 플랫폼에서 실제 실험을 수행합니다.
시스템은 클라이언트-서버 아키텍처를 통해 작동합니다:
로봇은 네트워크 연결을 통해 실시간 관측 데이터를 클라우드 서버로 전송하며, 모델은 추론을 수행하고 제어 명령 (즉, 선형 및 각속도)을 반환합니다.
우리는 각 작업에 대해 각 방법에 대해 25번의 시도를 실시합니다.
표 4에 제시된 정량적 결과는 제안된 접근 방식이 물리적 환경에서 지속적으로 베이스라인을 능가한다는 것을 나타내며, 이는 그 견고성과 강력한 일반화 능력을 입증합니다.

표 4: 실제 내비게이션 결과

 

 

7   Conclusion

이 연구는 전통적인 월드 모델의 추론 속도 제한을 극복하면서 종단 간 정책을 능가하는 경량 내비게이션 월드 모델을 제시합니다.
단일 단계 생성 패러다임과 공간-시간적 어텐션을 갖춘 3D U-Net 백본을 활용하여, 우리의 접근 방식은 낮은 지연 시간과 강력한 공간 추론을 보장합니다.
앵커 기반 초기화 계획 프레임워크와 통합된 제안된 시스템은 시뮬레이션 및 실제 폐쇄 루프 실험 전반에서 멀티 모달 목표 탐색에서 우수한 결과를 달성합니다.

 

이러한 발전에도 불구하고 몇 가지 한계가 남아 있습니다.
먼저, CEM을 월드 모델과 통합하려면 전체 액션 공간 내에서 탐색이 필요하며, 복잡한 궤적을 탐색하는 데 상당한 어려움이 따릅니다.
둘째, 반복 최적화 프로세스는 생성 품질과 추론 속도 간의 균형을 필요로 합니다.
향후 연구에서는 잠재적 액션 공간을 가진 내비게이션 월드 모델을 조사하고 [Bu et al., 2025] 월드 모델의 예측력과 반응형 지역 정책을 결합한 빠른 속도의 이중 시스템 [Chen et al., 2025]을 구축하여 이러한 문제를 해결하는 것을 목표로 합니다.