2026. 6. 10. 17:52ㆍ로봇 내비게이션
NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance
Shanghai AI Lab, Tsinghua University, Zhejiang University, The University of Hong Kong
Abstract
역동적이고 복잡한 오픈 월드 환경에서 내비게이션을 학습하는 것은 자율 로봇에게 매우 중요하지만 도전적인 능력입니다.
기존 접근 방식은 종종 계단식 모듈러 프레임워크에 의존하며, 이는 제한된 실제 데모 데이터로부터 광범위한 하이퍼파라미터 튜닝이나 학습을 필요로 합니다.
이 논문에서는 다양한 환경과 로봇 embodiments에 걸쳐 제로샷 시뮬레이션에서 실제 전송을 가능하게 하는 시뮬레이션만으로 학습된 종단 간 네트워크인 Navigation Diffusion Policy (NavDP)을 제안합니다.
NavDP의 핵심은 로컬 RGB-D 관측만을 기반으로 궤적 생성과 궤적 평가를 공동 학습하는 통합 트랜스포머 기반 아키텍처입니다.
대조 궤적 샘플에 대한 비판값을 예측하는 방법을 학습함으로써, 제안된 접근 방식은 시뮬레이션에서 이용 가능한 특권 정보로부터의 감독을 효과적으로 활용하여 정확한 공간 이해를 촉진하고 안전한 행동과 위험한 행동을 구분할 수 있게 합니다.
이를 지원하기 위해, 우리는 시뮬레이션에서 효율적인 데이터 생성 파이프라인을 개발하고 3,000개의 장면에서 100만 미터 이상의 내비게이션 경험을 포함하는 대규모 데이터셋을 구축합니다.
시뮬레이션 환경과 실제 환경 모두에서의 실증 실험 결과, NavDP가 이전의 SOTA 방법들을 크게 능가하는 것으로 나타났습니다.
또한, 우리는 NavDP의 일반화 성능에 영향을 미치는 주요 요인을 식별합니다.
Ⅰ. Introduction
역동적인 오픈 월드에서의 내비게이션은 로봇에게 기본적이면서도 도전적인 기술입니다.
embodied 지능형 제너럴리스트를 추구하기 위해 내비게이션 시스템은 다양한 embodiment 및 비정형 장면에서 제로샷으로 일반화할 수 있을 것으로 기대됩니다.
그러나 전통적인 모듈 기반 방법은 시스템 지연과 복리 오류로 인해 성능이 제한되는 반면, 고품질 데이터의 부족으로 인해 학습 기반 방법의 스케일업 학습과 성능이 제한됩니다.
여러 연구에서 실제 세계에서 로봇 궤적을 수집하여 이 문제를 해결하려고 하지만 [1], [2], [3], 스케일링 과정은 여전히 시간이 많이 걸리고 비용이 많이 듭니다.
대조적으로, 시뮬레이션 데이터는 다양하고 확장 가능합니다.
대규모 3D 디지털 복제 장면 [4], [5], [6], [7], [8], [9]을 사용하면 다양한 유형의 관측 및 목표를 가진 맞춤형 무한 내비게이션 궤적을 효율적으로 생성할 수 있습니다.
또한, 3D 자산의 다양성이 증가하고 신경망 렌더링 알고리즘이 빠르게 발전함에 따라 오랜 기간 지속되어 온 시뮬레이션과 실제 간의 격차 문제도 완화될 수 있습니다.
일반화된 내비게이션 정책을 학습하기 위해 모방 학습 [10], [11]은 일반적으로 긍정적인 데모에 의존하지만 상호작용이 부족하고 환경의 부정적인 피드백을 반영하지 못합니다.
반면, reinforcement learning (RL) 기반 방법 [12], [13]은 리워드 신호와의 상호작용을 통해 학습할 수 있지만 데이터 효율성이 낮습니다.
이 논문에서는 시뮬레이션 데이터만으로 제로샷 시뮬레이션에서 실제 정책 전송 및 cross-embodiment 일반화를 달성하는 이 두 스트림의 장점을 결합한 새로운 종단 간 트랜스포머 기반 학습 프레임워크인 Navigation Diffusion Policy (NavDP)을 제안합니다.
우리가 제안한 프레임워크는 모방 학습의 효율성과 디퓨전 과정의 표현력을 활용하여 전문가 데모의 멀티 모달 분포를 모델링합니다.
반사실적 추론을 가능하게 하기 위해 강화 학습의 비판값 함수 개념을 적용하고, 긍정적 궤적과 부정적 궤적 모두에 대한 상태-액션 값을 예측하도록 NavDP를 학습시킵니다.
우리 프레임워크는 시뮬레이션에서 특권 정보를 두 가지 측면에서 완전히 활용할 수 있습니다: 한편, 궤적 생성은 시뮬레이션 환경 내에서 전역 최적 계획자의 지침에 따라 학습될 수 있습니다.
한편, 비평 함수는 시뮬레이션에서 세밀한 지침으로 사용할 수 있는 전역 Euclidean Signed Distance Field (ESDF)를 사용하여 임의로 생성된 대조 액션 샘플에서 학습할 수 있습니다.
대규모 NavDP 학습을 지원하기 위해, 우리는 GPU당 하루에 2,500개의 궤적을 생성할 수 있는 고효율 내비게이션 데이터 엔진을 개발했습니다—실제 데이터 수집에 비해 효율성이 20배 향상되었습니다.
이를 통해 3,000개의 다양한 장면에서 100만 미터가 넘는 로봇 내비게이션 경험을 포괄하는 포괄적인 데이터 세트를 만들 수 있습니다.
우리는 시뮬레이션 환경과 실제 환경 모두에서 광범위한 실증 평가를 수행합니다.
결과는 우리가 제안한 NavDP가 이전의 SOTA 접근 방식들을 큰 차이로 능가한다는 것을 보여줍니다.
Ⅱ. Related Works
Robot Diffusion Policy.
고급 생성 모델은 로봇 정책 학습의 멀티모달 분포를 포착하는 데 큰 잠재력을 보여주었습니다.
diffusion policy [14]는 디퓨전 과정을 조작 작업에 처음 도입한 것으로, 그 능력을 향상시키기 위한 수많은 노력을 촉발시켰습니다.
이러한 향상은 상태 표현 [15], [16], [17], [18], 추론 속도 [19], [20], 그리고 다양한 로봇 애플리케이션 전반에 걸친 배포 [21], [22], [23], [24] 등 다양한 측면에 걸쳐 있습니다.
그러나 diffusion policy가 오프라인 모방 학습 프레임워크 내에서 작동하기 때문에, 강력한 실제 성능을 달성하는 것은 종종 노동 집약적이고 확장하기 어려운 실제 원격 운영 데이터셋에 의존합니다.
반면에, 우리의 접근 방식은 전적으로 확장 가능한 시뮬레이션 데이터셋으로부터 로봇 정책을 개발합니다.
일반화를 강화하고 시뮬레이션에서 실제 전송 시 안전성을 보장하기 위해 정책 출력의 안전성을 추정하는 비평 함수를 도입합니다.
이 메커니즘은 우선순위가 지정된 시뮬레이션 데이터를 활용하여 diffusion policy가 액션의 결과를 이해할 수 있도록 하여 안전성과 성능을 모두 향상시킵니다.
End-to-End Visual Navigation Models.
최근의 종단 간 시각적 내비게이션 모델은 cross-embodiment 적응과 멀티태스크 일반화에서 상당한 잠재력을 보여주었습니다 [25], [26], [27], [28], [29], [30], [31], [32].
이러한 접근 방식은 다양한 추상화 수준에서 탐색 문제를 해결합니다.
Vision-Language-Action (VLA) 모델 [30], [31], [32], [33]은 작업 명세를 위해 언어 지침을 활용하여 유연성을 제공합니다.
반면, 종단 간 로컬 내비게이션 모델은 cross-embodiment 일반화에서 우수하며 오픈 월드 환경에서 실시간 추론으로 우수한 적응력을 보여줍니다 [25], [26], [11].
이 논문에서는 동적 오픈 월드에서 일반화된 내비게이션 작업 실행 기술을 위해 VLM에 원활하게 부착할 수 있는 효율적인 종단 간 cross-embodiment 내비게이션 시스템-1을 개발하는 데 중점을 둡니다.
Ⅲ. DataEngine
Robot Model.
우리는 로봇을 원통형 강체로 만들고, cross-embodiment의 일반화를 위해 이륜 차동 구동 모델을 사용합니다.
로봇의 항법 안전 반경은 r_b = 0.25m로 설정됩니다.
다양한 로봇 embodiments 방식에 따른 관찰 뷰의 변화를 모방하기 위해, 로봇 상단에 하나의 RGB-D 카메라를 설치하고 로봇 h_b의 높이를 (0.25m, 1.25m) 범위에서 랜덤으로 설정한다고 가정합니다.
카메라의 구성 높이보다 높은 물체는 내비게이션 경로 계획 과정에서 장애물로 간주되지 않습니다.
시야 내에서 로컬 내비게이션 가능 영역이 계속 보이도록 하기 위해, 카메라의 피치 각도는 로봇의 높이에 따라 (-30˚, 0˚) 범위 내에서 랜덤으로 조정됩니다.
카메라 시야를 설정하기 위해 두 가지 구성을 사용합니다, 하나는 horizontal field of view (HFOV)과 vertical field of view (VFOV)이 (69˚, 42˚)으로 설정된 RealSense D435i를 따르고, 다른 하나는 FOV가 (110˚, 70˚)로 설정된 Zed 2를 따릅니다.
Trajectory Generation.
충돌 없는 로봇 내비게이션 궤적을 생성하기 위해 먼저 장면 메시를 복셀 크기 0.05m의 복셀 맵으로 변환하여 탐색 가능한 영역의 Euclidean Signed Distance Field (ESDF)를 추정합니다.
탐색 가능한 영역은 임계값 h_nav 이하의 z축 좌표를 가진 복셀 요소로 정의되며, 장애물 영역은 임계값 h_obs를 초과하는 z축 좌표를 가진 복셀 요소로 정의됩니다.
임계값 h_nav와 h_obs는 장면마다 다르며 로봇 높이 h_b에 따라 달라집니다.
로봇 반경 r_b보다 낮은 거리 값을 가진 복셀은 충돌을 방지하기 위해 절단됩니다.
탐색 가능한 영역의 ESDF 앱은 효율적인 A* 경로 계획을 위해 0.2m 해상도로 다운샘플링됩니다.
탐색 가능한 영역에서 탐색 시작 지점과 목표 지점이 랜덤으로 선택되며, A* 알고리즘은 계획 경로 τ∗ = [(x_0, y_0), (x_1, y_1), (x_2, y_2), . . (x_k, y_k)]를 생성합니다.
각 웨이포인트 (x_n, y_n)에 대해 원본 ESDF 맵의 로컬 영역에서 그리디 검색을 수행하여 인근 장애물과의 거리를 최대화하여 위치를 세분화합니다.
이 정제 과정은 장애물에서 더 멀리 떨어진 웨이포인트를 이동시킵니다.
마지막으로, 정제된 웨이포인트는 큐빅 스플라인 보간법을 사용하여 연속적인 내비게이션 궤적으로 평활화됩니다.
Scene Assets and Render Engine.
이전 섹션에서 설명한 파이프라인을 따라 다양한 장면에서 로봇 내비게이션 궤적과 해당 RGB-D 렌더링 결과에 대한 대규모 데이터 세트를 생성할 수 있습니다.
BlenderProc [34]를 사용하여 내비게이션 궤적을 따라 사실적인 RGB 및 뎁스 이미지를 렌더링합니다.
우리는 3D-Front [6], HSSD [7], HM3D [8], Replica [4], Gibson [35], Matterport3D [5] 중에서 선택된 3,000개 이상의 장면에서 내비게이션 궤적을 수집합니다.
각 장면마다 출발점과 목적지 100쌍을 샘플링합니다.
우리는 빛 조건 랜덤화, 뷰 랜덤화, 텍스처 랜덤화를 포함한 데이터 다양성을 더욱 향상시키기 위해 여러 도메인 랜덤화 기법을 적용합니다.
데이터 필터링 후 최종 데이터셋은 100만 미터 이상의 거리를 포함하는 20만 개 이상의 궤적으로 구성됩니다.
이전 내비게이션 데이터셋과 비교했을 때, 표 I에 나타난 바와 같이 우리의 데이터는 다양성과 수집 효율성 면에서 우위를 점하고 있습니다.
데이터셋은 가까운 시일 내에 오픈 소스로 제공될 예정입니다.
Ⅳ. Navigation Diffusion Policy
NavDP는 RGB 및 뎁스 관측을 융합하는 멀티모달 인코더와 궤적 생성 및 임계 값 예측을 위한 통합 트랜스포머 기반 네트워크로 구성되어 있습니다.
NavDP 네트워크 아키텍처는 그림 2에 나와 있습니다.
궤적 생성은 로봇이 따라갈 수 있도록 M개의 밀집 웨이포인트를 계획하는 것을 목표로 하며, 비평가 값 예측은 궤적의 안전성에 해당하는 점수를 예측하는 것을 목표로 합니다.
Multi-Modal Encoder.
NavDP는 RGB-D 이미지와 내비게이션 목표를 입력으로 처리합니다.
과거 정보를 통합하기 위해, 우리는 길이 N의 멀티 프레임 RGB 이미지를 제공하고 사전 학습된 DepthAnything [37] 인코더를 사용하여 각 RGB 프레임에서 256개의 패치 토큰을 추출합니다.
궤적 생성을 위한 절대 물리적 스케일과의 정렬을 보장하기 위해, 우리는 뎁스 관찰의 단일 프레임을 처리하기 위해 추가적인 ViT 인코더—처음부터 학습—를 도입하였으며, 이 인코더는 256개의 토큰을 생성합니다.
뎁스 입력은 sim-to-real 간격으로 인해 발생할 수 있으므로, 여기서는 범위 내 뎁스 (0.1m, 5m)만 사용합니다.
RGB-D 입력을 융합하기 위해, 우리는 학습 가능한 쿼리가 포함된 경량 트랜스포머 디코더 레이어를 적용하여 원래 (N + 1) × 256 토큰을 N × 16개의 컴팩트 토큰으로 압축합니다.
내비게이션 목표는 PointGoal 작업 정의를 따르며, 여기서 2차원 벡터 (x_g, y_g)는 현재 상태에 대한 목표의 상대 좌표를 나타냅니다.
우리는 탐색 목표를 인코딩하기 위해 MLP 레이어를 사용하고, 이를 RGB-D 토큰과 동일한 차원의 공간에 투영하여 후속 과정을 수행합니다.
목표 없는 작업의 경우, 우리는 목표 임베딩으로 full-zero 텐서를 사용합니다.
Unified Policy Transformer.
우리는 디퓨전 기반 궤적 생성과 궤적 평가를 모두 지원하는 간단하면서도 효과적인 트랜스포머 디코더 기반 아키텍처를 개발합니다.
궤적 생성의 경우, objective는 노이즈가 있는 궤적을 조건으로 주입된 노이즈를 예측하는 것입니다.
궤적 평가의 목표는 임의의 궤적을 조건으로 점수를 예측하는 것입니다.
이를 위해 MLP 기반 액션 인코더를 사용하여 크로스-어텐션 메커니즘에서 query 역할을 하는 궤적 임베딩을 추출합니다.
융합된 RGB-D 토큰과 디퓨전 시간 단계를 나타내는 토큰은 어텐션 과정에서 key와 value로 작용합니다.
입력 토큰을 처리하기 위해 여러 개의 트랜스포머 디코더 레이어를 사용하고 두 작업에 대해 두 개의 별도 출력 헤드를 사용합니다.
모든 네트워크 가중치는 작업 간에 공유됩니다; 차이점은 입력 query와 key 및 value에 적용된 어텐션 마스크에 있습니다.
궤적 생성 작업에서는 DDPM [38] 스케줄러에 따라 노이즈가 추가된 노이즈가 있는 궤적에서 query를 추출하고 모든 key와 value에 크로스-어텐션합니다.
궤적 평가 작업에서는 랜덤 회전 증강을 통해 전문가-데모 궤적에서 query를 도출하며, 크로스-어텐션은 타임스텝 토큰을 제외합니다.
추론 중에 NavDP는 먼저 궤적 생성 헤드를 사용하여 후보 궤적 배치를 생성한 다음 평가 헤드를 통해 최적의 궤적을 선택하여 더 안전한 작업 실행을 가능하게 합니다.
Training Details.
궤적 생성 작업의 학습 objective는 포인트 목표 작업과 무목표 작업 모두에서 예측된 노이즈의 mean squared error (MSE) loss의 가중합입니다.
k를 디노이징 단계로, ϵ_k를 시간 단계 k에서 DDPM 스케줄러를 따라 샘플링된 노이즈로, d_t를 현재 뎁스 이미지로, I_(t-N:t)를 RGB 관측값으로, g_t를 탐색 목표로, τ를 노이즈가 없는 전문가 데모 궤적으로, D를 전체 데이터셋으로, 액션 헤드의 loss 함수를 다음과 같이 쓸 수 있습니다:
디폴트 값으로 α = 0.5와 β = 0.5를 설정했습니다, ϵ_θ는 전체 노이즈 예측 네트워크입니다.
궤적 평가 작업에서는 궤적 웨이포인트를 따라 절대 ESDF 값과 ESDF 값의 차이를 기준으로 레이블 비평가 값을 정의합니다.
구체적으로, 증강된 전문가 데모 궤적을 ˆτ로 표시하고, 증강된 궤적의 m번째 웨이포인트에서의 ESDF 값을 d^m_ˆτ로 표시하며, 라벨 비평가 값은 다음과 같이 정의됩니다:
d_safe는 충돌 반경을 나타내는 임계값입니다.
그런 다음 점수 예측 네트워크를 V_θ로 표시하면 비평 헤드의 loss 함수는 다음과 같이 쓸 수 있습니다:
그리고 전체 NavDP 네트워크는 L_act와 L_critic의 합에 대해 한 단계로 공동 학습됩니다.
다른 몇 가지 하이퍼파라미터는 표 II에 나와 있습니다.
Ⅴ. Experiments
A. Evaluations and Metrics
우리는 시뮬레이션과 실제 환경 모두에서 4개의 서로 다른 로봇에 대해 포인트 목표 탐색 및 무목표 탐색 작업을 통해 우리의 접근 방식을 평가합니다.
우리는 고충실도 물리 시뮬레이션을 제공하는 IsaacSim을 기반으로 시뮬레이션 벤치마크를 구축하고, 바퀴 달린 로봇인 ClearPath Dingo를 내비게이터로 사용합니다.
포인트 목표 내비게이션 작업을 위해, 우리는 GRUtopia [9]에서 가정, 병원, 슈퍼마켓 등 다양한 시나리오를 다루는 현실적인 장면 20개 (가정 10개, 상업 10개)를 수집했습니다.
무목표 내비게이션 작업의 경우, 랜덤 장애물이 있는 10개의 도전적인 복잡한 장면을 평가 대상으로 생성합니다.
우리는 점수 목표 과제에 대해 2,000개의 에피소드를 평가하고, 무목표 과제에 대해 1,000개의 에피소드를 평가합니다.
실제 벤치마크에서는 Unitree Go2, Turtlebot4, Unitree G1의 성능을 평가합니다.
포인트 목표 내비게이션 작업을 위해, 우리는 어려운 레이아웃을 가진 3가지 실내 시나리오를 설정하고, 각 장면에 대해 10개의 에피소드를 하나의 embodiment 예로 평가합니다.
무목표 탐색 과제의 경우, 복도, 홀, 회의실을 포함한 또 다른 3가지 대형 실내 시나리오에서 cross-embodiment 일반화를 평가합니다.
시뮬레이션 및 실제 평가 시나리오의 간략한 시각화는 그림 3에 나와 있습니다.
포인트 목표 탐색 작업에서는 두 가지 지표를 평가합니다: Success Rate (SR)과 Success Weighted by Path Length (SPL)로 측정하여 작업 완료 비율과 경로 효율성을 측정합니다.
무목표 탐색 과제에서 우리는 또 다른 두 가지 지표를 평가합니다 - 시간과 면적은 충돌이 발생하기 전 평균 시간(초)과 평균 탐사 면적을 나타냅니다.
둘 다 전반적인 충돌 회피 기술과 계획 일관성을 평가하는 데 도움이 됩니다.
B. Experiment Analysis
이 섹션에서는 정량적 및 정성적 실험 결과를 통해 다음과 같은 연구 질문을 다루고자 합니다:
• Q1: 제안된 NavDP는 다양한 로봇 플랫폼에서 얼마나 잘 일반화되나요?
• Q2: 기본 접근 방식과 비교했을 때 우리 방법의 장점은 무엇입니까?
• Q3: 우리의 방법이 야생 실내외 환경에 얼마나 잘 일반화되나요?
• Q4: 모델의 전반적인 성능에 영향을 미치는 주요 요인은 무엇입니까?
• Q5: 내비게이션 데이터에서 도메인 랜덤화가 cross-embodiment 일반화를 달성하는 데 필수적입니까?
Q1과 Q2에는 제안된 NavDP를 두 내비게이션 작업 전반에 걸친 다양한 기본 방법과 비교합니다.
베이스라인에는 학습 기반 접근 방식이 포함됩니다 — GNM [25], ViNT [26], NoMaD [11], DD-PPO [39], iPlanner [27], ViPlanner [28], 그리고 계획 기반 접근 방식인 EgoPlanner [40].
PointGoal 탐색 작업에서 NavDP는 시뮬레이션 내에서 Success Rate (SR)에서 이전 SOTA 학습 기반 방법보다 6.3% 초과 달성했으며, cross-embodiment 실제 실험에서 평균 23.0%의 향상을 달성했습니다 (표 III 참조).
대조적으로, 기본 방법 DD-PPO는 Habitat 시뮬레이터에서 강화 학습을 통해 광범위하게 학습되었음에도 불구하고, 다양한 액션 공간과 카메라 구성을 가진 분포 외 시나리오에서는 일반화가 잘 되지 않는 것으로 나타났습니다.
다른 접근 방식과 비교했을 때, 제안된 NavDP는 세 가지 주요 장점을 제공합니다:
• 시간적 일관성:
iPlanner와 ViPlanner는 단일 프레임 시각적 입력에 의존하므로 궤적 계획의 시간적 일관성이 제한됩니다.
이 제한은 종종 작업 실패나 비효율적인 행동으로 이어집니다, 특히 Turtlebot 실험에서는 로봇 카메라가 이미 장애물을 통과했지만 몸은 통과하지 못하는 경우가 많습니다.
그러면 경로 계획에 심각한 변화가 생기면 충돌로 이어질 수 있습니다.
• 뎁스 노이즈에 대한 견고성:
전통적인 계획 기반 접근 방식은 노이즈가 많은 뎁스 감지에 매우 민감합니다.
이러한 경우 전역 매핑 오류로 인해 지나치게 보수적인 계획이 수립될 수 있으며, 단기 로컬 맵은 계획 불일치와 충돌을 초래할 수도 있습니다.
• 뎁스 착각에 대한 저항:
뎁스 중심 방법으로서 iPlanner와 ViPlanner는 모두 오해의 소지가 있는 객체 기하학에 취약합니다.
Unitree-Go2 실험에서는 로봇 앞에 구멍이 뚫린 장애물을 배치합니다.
두 방법 모두 지오메트리를 올바르게 해석하지 못하고 장애물을 통과하려고 노력했습니다.
포인트 목표 탐색 작업에 대한 다양한 접근 방식의 결과를 정량적으로 시각화한 결과는 그림 4에 나와 있습니다.
자세한 탐색 과정은 보충 동영상에 나와 있습니다.
게다가, 우리가 제안한 방법은 무목표 내비게이션 작업에서도 베이스라인 방법을 큰 차이로 능가합니다: 시뮬레이션에서 NavDP는 평균 탐색 시간에서 2.9배, 평균 탐색 면적에서 3.1배의 성능을 달성했으며, 실제 환경에서는 NoMad보다 3.8배의 탐색 시간을 기록했습니다, 이는 분포 외 시나리오에 대한 강력한 제로샷 일반화를 보여줍니다.
Q3에는 Unitree Go2, Unitree G1 및 Galaxea R1 로봇에 NavDP를 배포하고 그림 5와 같이 최고의 임계값으로 생성된 상위 2개의 궤적을 시각화합니다.
관측 시점, 보행자 간섭의 존재, 카메라 시야, 다양한 조명 조건, 모션 블러의 존재는 관측 이미지를 학습 데이터셋과 극적으로 다르게 만들지만, 우리가 제안한 방법은 여전히 잘 일반화되어 충돌 없이 100미터 이상의 인간 개입 없이 장거리 내비게이션을 달성할 수 있습니다.
추가 예시는 부록 비디오에 나와 있습니다.
Q4에는 NavDP의 전반적인 성능에 영향을 미칠 수 있는 세 가지 중요한 요인을 조사하기 위해 포인트 목표 내비게이션 벤치마크에 대한 종합적인 ablation 연구를 수행합니다: (1) 입력 양식, (2) 비평 예측의 기능, (3) 학습 objective 선택.
구체적으로, 우리는 원래 NavDP 모델의 여섯 가지 변형을 평가합니다:
• w/o Depth∗: 뎁스 입력 브랜치가 제거된 NavDP 모델의 RGB 전용 버전입니다.
• w/o RGB∗: RGB 입력 브랜치가 제거된 NavDP 모델의 뎁스 전용 버전입니다.
• w/o Multiframe RGB∗: 멀티프레임 RGB 입력을 단일 프레임 표현으로 대체하는 단일 프레임 RGB-D 변형 NavDP.
• w/o Selection: 비평 기반 선택 방식을 사용하는 대신 궤적 선택이 랜덤으로 이루어지는 NavDP의 변형입니다.
• w/o Augmentation∗: 비평 헤드 학습 중 충돌 궤적이 제외되어 궤적 증강 방식이 비활성화되는 NavDP 버전입니다.
• w/o No-Goal∗: 무목표 기반 보조 궤적 예측 objective 없이 학습된 NavDP의 변형입니다.
별표(∗)로 표시된 변형은 모델이 원래 NavDP와 동일한 구성 및 데이터셋을 사용하여 재학습되었음을 나타냅니다.
반면, 별표가 없는 변형 모델은 원래 NavDP와 동일한 모델 가중치를 공유합니다.
ablation 결과는 표 V에 나와 있습니다.
이 결과는 세 가지 주요 기술적 결론을 강조합니다:
• RGB-D 융합은 더 강력한 내비게이션 성능을 위해 필수적입니다.
뎁스를 입력으로 하지 않으면 전체 성능이 10.3% 떨어지고, RGB 이미지를 입력으로 하지 않으면 전체 성능이 5.1% 떨어집니다.
RGB 입력의 멀티프레임은 성공률에서도 2.8% 향상에 기여합니다.
• 비평 기능은 계획의 안전성을 향상시키는 데 중요한 역할을 합니다.
모델 가중치는 같지만 비평 기반 궤적 선택을 제거하면 시뮬레이션에서 성공률이 7.8% 감소합니다.
대조적인 샘플에서 비평 기능을 배우는 것도 중요합니다.
비평 학습을 위한 궤적 증강을 제거한 후, 홈 장면에서 성공률이 3.0% 떨어집니다.
• 무목표 과제는 공동으로 학습할 수 있는 유용한 보조 과제입니다.
무목표 과제 학습 objecutve로 인해 전체 포인트-골 탐색 성능은 성공률에서 2.1%, SPL에서 1.8% 증가했습니다.
Q5의 경우, 낮은 로봇 높이 (< 0.5m)에서 수집된 데이터와 카메라 뷰만으로 변형된 NavDP 모델을 학습하여 도메인 랜덤화가 cross-embodiment 일반화에 기여하는지 여부를 증명합니다.
그런 다음, 우리는 복잡한 레이아웃을 가진 두 가지 도전적인 시나리오를 설정하고 Unitree-Go2 및 Galaxea-R1 로봇을 사용하는 두 모델의 포인트 목표 내비게이션 작업 성능을 평가합니다.
각 장면은 각 embodiment에 대해 20개의 에피소드로 평가됩니다.
두 로봇의 높이가 다르기 때문에 경로 계획 전략이 달라야 합니다: Unitree-Go2의 경우 SceneB에서 테이블 아래를 걷는 것이 효율적인 방법이지만, Galaxea R1은 테이블을 피하기 위해 우회해야 합니다.
정량적 결과는 그림 6에 나와 있습니다.
cross-embodiment 데이터가 없으면 테이블에 대한 우회 기술이 나타나지 않아 성공률이 90%에서 20%로 떨어지는 반면, Unitree-Go2의 전반적인 성능은 유지된다는 것을 발견했습니다.
Ⅵ. Conclusion & Future Works
이 논문에서는 강력한 제로샷 sim-toreal 및 cross-embodiment 일반화 성능을 달성하는 새로운 navigation diffusion policy (NavDP)을 소개합니다.
우리의 정책은 정적 및 동적 시나리오 모두에서 실시간 경로 계획 및 충돌 회피 능력을 입증합니다.
두 가지 핵심 요소가 NavDP 성능에 기여합니다.
첫 번째는 제안된 자동 데이터 생성 파이프라인과 대규모 시뮬레이션 내비게이션 데이터셋입니다.
두 번째는 효율적인 RGB-D 융합 및 대조 비평 학습을 통해 전체 네트워크를 설계하는 것입니다.
우리의 NavDP는 다재다능한 종단 간 내비게이션 정책을 구축하는 데 있어 새로운 관점을 제공하며, 추가 개선을 위한 강력한 기반을 제공합니다.
향후 작업을 위해 성능을 더욱 향상시키기 위한 효율적인 사후 학습 전략을 모색할 계획입니다—실제 배포를 위한 필수 단계입니다.
또한, 우리는 NavDP를 확장하여 특히 자연어 지침을 통해 표현된 더 넓은 범위의 내비게이션 목표를 지원하는 것을 목표로 하고 있습니다.
마지막으로, 장기적인 탐색과 보다 전체적인 탐색 행동을 가능하게 하기 위해 전역 기억 메커니즘을 통합하는 것은 향후 연구에서 또 다른 유망한 방향을 제시합니다.