2025. 9. 4. 09:55ㆍRobotics
Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, Shuran Song
Abstract
이 논문은 로봇의 visuomotor policy를 조건부 denoising diffusion 과정으로 표현하여 로봇 행동을 생성하는 새로운 방법인 Diffusion Policy를 소개합니다.
우리는 4개의 다른 로봇 조작 벤치마크에서 15개의 다양한 작업에 걸쳐 Diffusion Policy를 벤치마킹한 결과, 평균 46.9%의 향상률로 기존 SOTA 로봇 학습 방법을 지속적으로 능가하는 것으로 나타났습니다.
Diffusion Policy는 action-분포 점수 함수의 그래디언트를 학습하고 일련의 stochastic Langevin 동역학 단계를 통해 추론하는 동안 이 그래디언트 필드에 대해 반복적으로 최적화합니다.
우리는 디퓨전 공식이 로봇 policy에 사용될 때 강력한 이점을 제공한다는 것을 발견했습니다, 여기에는 멀티모달 action 분포를 우아하게 처리하고, 고차원 action 공간에 적합하며, 인상적인 학습 안정성을 보여주는 것이 포함됩니다.
물리 로봇에서 visuomotor policy 학습을 위한 디퓨전 모델의 잠재력을 완전히 밝히기 위해, 이 논문은 후퇴하는 지평선 제어, 시각적 조건화, 시계열 디퓨전 트랜스포머의 통합을 포함한 일련의 주요 기술적 기여를 제시합니다.
이 연구가 디퓨전 모델의 강력한 생성 모델링 기능을 활용할 수 있는 새로운 생성 policy 학습 기법에 동기를 부여하는 데 도움이 되기를 바랍니다.
1 Introduction
데모를 통한 policy 학습은 가장 간단한 형태로 관찰을 action으로 매핑하는 학습의 supervised 회귀 과제로 공식화할 수 있습니다.
그러나 실제로 로봇 action을 예측하는 고유한 특성 — 예: 멀티모달 분포의 존재, 순차적 상관관계, 높은 정밀도 요구 사항 — 으로 인해 이 작업은 다른 supervised 학습 문제에 비해 뚜렷하고 도전적입니다.
이전 연구에서는 다양한 action 표현 (그림 1 a) – 가우시안 혼합물 Mandlekar et al. (2021), 양자화된 action의 범주적 표현 Shafiullah et al. (2022) 또는 policy 표현(그림 1 b) – 을 명시적에서 암시적으로 전환하여 멀티모달 분포를 더 잘 포착함으로써 이 문제를 해결하려고 시도했습니다 Florence et al. (2021); Wu et al. (2020).
이 연구에서는 "로봇 action 공간에서 조건부 디노이징 디퓨전 과정 Ho et al. (2020)", Diffusion Policy를 통해 행동을 생성하는 새로운 형태의 로봇 visuomotor policy를 도입하여 이 문제를 해결하고자 합니다.
이 공식에서는 action을 직접 출력하는 대신, policy가 K개의 디노이징 반복에 대해 시각적 관찰을 조건으로 action-점수 그래디언트를 추론합니다 (그림 1 c).
이 공식을 통해 로봇 policy는 디퓨전 모델에서 여러 주요 속성을 상속할 수 있습니다 – 성능을 크게 향상시킵니다.
• 멀티모달 action 분포를 표현합니다.
action 점수 함수 Song과 Ermon (2019)의 그래디언트를 학습하고 이 그래디언트 필드에 대해 Stochastic Langevin Dynamics 샘플링을 수행함으로써 Diffusion policy는 policy 학습에서 잘 알려진 도전 과제인 멀티모달 action 분포를 포함하는 임의의 정규화 가능한 분포 Neal et al. (2011)을 표현할 수 있습니다.
• 고차원 출력 공간.
인상적인 이미지 생성 결과에서 알 수 있듯이, 디퓨전 모델은 고차원 출력 공간에 대해 뛰어난 확장성을 보여주었습니다.
이 속성을 통해 policy는 단일 단계 action 대신 향후 action의 순서를 공동으로 추론할 수 있으며, 이는 시간적 action 일관성을 장려하고 근시적 계획을 피하는 데 매우 중요합니다.
• 안정적인 학습.
에너지 기반 policy를 학습하기 위해서는 종종 음의 샘플링이 필요하며, 이는 학습 불안정성을 유발하는 것으로 알려져 있습니다 Du et al. (2020); Florence et al. (2021).
Diffusion Policy는 에너지 함수의 그래디언트를 학습하여 이러한 요구 사항을 우회하여 분포 표현력을 유지하면서 안정적인 학습을 달성합니다.
우리의 주요 기여는 위의 장점을 로봇 공학 분야에 도입하고 복잡한 실제 로봇 조작 작업에서 그 효과를 입증하는 것입니다.
디퓨전 모델을 visuomotor policy 학습에 성공적으로 적용하기 위해, 우리는 Diffusion Policy의 성능을 향상시키고 물리적 로봇에 대한 잠재력을 최대한 발휘할 수 있는 다음과 같은 기술적 기여를 제시합니다:
• 폐루프 action 시퀀스.
우리는 policy의 기능을 결합하여 고차원 action 시퀀스를 예측하고, 후퇴하는 수평선 제어를 통해 견고한 실행을 달성합니다.
이 설계를 통해 policy는 시간적 action 일관성을 유지하면서 폐쇄 루프 방식으로 action을 지속적으로 재계획할 수 있습니다 – 장기적인 horizon 계획과 대응성 사이의 균형을 달성하기.
• 시각적 조건 설정.
시각적 관찰이 공동 데이터 분포의 일부가 아닌 조건부로 취급되는 비전 조건부 diffusion policy를 소개합니다.
이 공식에서는 policy가 디노이징 반복과 상관없이 시각적 표현을 한 번 추출하여 계산을 크게 줄이고 실시간 action 추론을 가능하게 합니다.
• 시계열 디퓨전 트랜스포머.
우리는 일반적인 CNN 기반 모델의 과도한 평활화 효과를 최소화하고 고주파 action 변화와 속도 제어가 필요한 작업에서 SOTA 성능을 달성하는 새로운 트랜스포머 기반 디퓨전 네트워크를 제안합니다.
우리는 행동 복제 공식에 따라 Florence et al. (2021), Gupta et al. (2019), Mandlekar et al. (2021), Shafiullah et al. (2022)의 4가지 벤치마크에서 15개의 작업에 걸쳐 Diffusion Policy를 체계적으로 평가했습니다.
평가에는 시뮬레이션 환경과 실제 환경, 2DoF에서 6DoF까지의 action, 싱글- 및 멀티-태스크 벤치마크, 그리고 싱글 및 멀티 사용자가 수집한 데모 데이터를 사용하여 경직되고 유동적인 객체가 있는 완전 및 과소 작동 시스템이 포함됩니다.
경험적으로 모든 벤치마크에서 평균 46.9%의 개선으로 일관된 성능 향상을 발견했으며, 이는 Diffusion Policy의 효과에 대한 강력한 증거를 제공합니다.
또한 제안된 알고리즘의 특성과 주요 설계 결정의 영향을 면밀히 검토하기 위해 상세한 분석을 제공합니다.
이 연구는 학회 논문 Chi et al. (2023)의 확장판입니다.
이 논문의 내용을 다음과 같은 방식으로 확장합니다:
• Diffusion Policy와 통제 이론의 연관성에 대한 새로운 논의 섹션을 포함합니다. 섹션 4.5를 참조하세요.
• 대체 네트워크 아키텍처 설계 및 다양한 사전 학습 및 파인튜닝 패러다임, 섹션 5.4에 대한 추가 ablation 연구를 시뮬레이션에 포함합니다.
• 섹션 7에서 Egg Beater, Mat Unrolling, 및 Shirt Folding 등 세 가지 이중 수동 조작 작업으로 실제 실험 결과를 확장합니다.
2 Diffusion Policy Formulation
우리는 visuomotor 로봇 policy를 Denoising Diffusion Probabilistic Models (DDPM) Ho et al. (2020)으로 공식화합니다.
중요한 것은 diffusion policy가 복잡한 멀티모달 action 분포를 표현할 수 있고 안정적인 학습 행동을 가질 수 있다는 점입니다 – 작업별 하이퍼파라미터 튜닝이 거의 필요하지 않습니다.
다음 섹션에서는 DDPM을 더 자세히 설명하고, visuomotor policy를 어떻게 반영할 수 있는지 설명합니다.
2.1 Denoising Diffusion Probabilistic Models
DDPM은 출력 생성이 종종 Stochastic Langevin Dynamics, Welling and Teh (2011)라고 불리는 디노이징 프로세스로 모델링되는 생성 모델의 한 종류입니다.
가우시안 노이즈에서 샘플링된 x^K부터 시작하여, DDPM은 원하는 노이즈 없는 출력 x^0이 형성될 때까지 노이즈 수준이 감소하는 일련의 중간 action인 x^k, x^(k-1)을 생성하기 위해 K번의 디노이징을 수행합니다.
이 과정은 식
을 따릅니다, 여기서 ε_θ는 학습을 통해 최적화될 매개변수 θ를 가진 노이즈 예측 네트워크이며, N(0, σ^2 I)은 각 반복마다 추가되는 가우시안 노이즈입니다.
위의 식 1은 단일 노이즈가 있는 그래디언트 디센트 단계로 해석될 수도 있습니다:
, 노이즈 예측 네트워크 ε_θ(x, k)가 그래디언트 필드 ∇E(x)를 효과적으로 예측하고, γ는 학습률입니다.
반복 단계 k의 함수로 α, γ, σ를 선택하는 것을 노이즈 스케줄이라고도 하며, 그래디언트 디센트 프로세스에서 학습률 스케줄링으로 해석할 수 있습니다.
α가 1보다 약간 작으면 안정성이 향상되는 것으로 나타났습니다 Ho et al. (2020).
노이즈 일정에 대한 자세한 내용은 섹션 3.3에서 논의될 것입니다.
2.2 DDPM Training
학습 과정은 데이터셋에서 수정되지 않은 예제인 x^0를 랜덤로 그리는 것으로 시작됩니다.
각 샘플에 대해 디노이징 반복 k를 랜덤으로 선택한 다음 반복 k에 대해 적절한 분산을 가진 랜덤 노이즈 ε^k를 샘플링합니다.
노이즈 예측 네트워크는 노이즈가 추가된 데이터 샘플의 노이즈를 예측하도록 요청받습니다.
Ho et al. (2020)에서 볼 수 있듯이, 식 3에서 loss 함수를 최소화하면 식 1을 사용하여 데이터 분포 p(x^0)와 DDPM q(x^0)에서 추출한 샘플 분포 간의 KL-divergence의 변분 하한도 최소화됩니다.
2.3 Diffusion for Visuomotor Policy Learning
DDPM은 일반적으로 이미지 생성에 사용되지만 (x는 이미지입니다), 우리는 로봇 시각 운동 policy를 학습하기 위해 DDPM을 사용합니다.
이를 위해서는 공식에 두 가지 주요 수정이 필요합니다:
1. 로봇 action을 나타내기 위해 출력 x를 변경합니다.
2. 입력 관측 O_t에 따라 디노이징 프로세스를 설정합니다.
다음 단락에서는 각 수정 사항에 대해 설명하며, 그림 2는 개요를 보여줍니다.
Closed-loop action-sequence prediction:
효과적인 action 공식화는 장기 계획에서 시간적 일관성과 부드러움을 장려하는 동시에 예상치 못한 관찰에 신속하게 대응할 수 있도록 해야 합니다.
이 목표를 달성하기 위해, 우리는 계획을 세우기 전에 일정 기간 동안 디퓨전 모델에 의해 생성된 action-시퀀스 예측에 전념합니다.
구체적으로, 시간 t 단계에서 policy는 최신 관측 데이터 O_t의 T_o 단계를 입력으로 받아 T_p 단계의 action을 예측합니다, 이 중 T_a 단계의 action은 재계획 없이 로봇에서 실행됩니다.
여기서 우리는 T_o를 관측 지평선으로, T_p를 action 예측 지평선으로, T_a를 action 실행 지평선으로 정의합니다.
이는 반응성을 유지하면서 시간적 action 일관성을 촉진합니다.
T_a의 효과에 대한 자세한 내용은 섹션 4.3장에서 논의됩니다.
우리의 공식화는 또한 후퇴하는 지평선 제어인 Mayne and Michalska (1988)가 이전의 action 시퀀스 예측을 통해 다음 추론 설정을 웜 스타트함으로써 action 매끄러움을 더욱 향상시킬 수 있도록 합니다.
Visual observation conditioning:
우리는 계획을 위해 Janner et al. (2022a)에서 사용된 공동 분포 p(A_t ,O_t) 대신 DDPM을 사용하여 조건부 분포 p(A_t|O_t)를 근사합니다.
이 공식을 통해 모델은 미래 상태를 추론하는 비용 없이 관측을 기반으로 한 action을 예측할 수 있으며, 디퓨전 과정을 가속화하고 생성된 액션의 정확성을 향상시킬 수 있습니다.
조건부 분포 p(A_t|O_t)를 포착하기 위해, 우리는 식 1을
로 수정합니다.
학습 loss는 식 3에서
로 수정됩니다.
디노이징 프로세스의 출력에서 관찰 피쳐 O_t를 제외하면 추론 속도가 크게 향상되고 실시간 제어를 더 잘 수용할 수 있습니다.
또한 비전 인코더의 종단 간 학습을 가능하게 하는 데 도움이 됩니다.
시각 인코더에 대한 자세한 내용은 섹션 3.2에 설명되어 있습니다.
3 Key Design Decisions
이 섹션에서는 Diffusion Policy의 주요 설계 결정과 신경망 아키텍처를 활용한 ε_θ의 구체적인 구현 방법을 설명합니다.
3.1 Network Architecture Options
첫 번째 설계 결정은 ε_θ에 대한 신경망 아키텍처의 선택입니다.
본 연구에서는 두 가지 대표적인 네트워크 아키텍처 유형인 convolutional neural networks (CNN) Ronneberger et al. (2015)과 Transformers Vaswani et al. (2017)를 살펴보고, 이들의 성능과 학습 특성을 비교합니다.
노이즈 예측 네트워크 ε_θ의 선택은 시각 인코더와는 독립적이라는 점에 유의하며, 이에 대해서는 섹션 3.2에서 설명할 예정입니다.
CNN-based Diffusion Policy
우리는 Janner et al.(2022b)의 1차원 시계열 CNN을 약간 수정하여 채택했습니다:
먼저, 우리는 그림 2(b)에 나타난 것처럼 Feature-wise Linear Modulation (FiLM)과 디노이징 반복 k를 이용해 관측 피쳐 O_t에 따라 액션 생성 과정을 조건화함으로써 조건부 분포 p(A_t|O_t)만 모델링합니다.
둘째, 우리는 concat된 관측 액션 궤적이 아니라 액션 궤적만 예측합니다.
셋째, 후퇴하는 예측 기간을 사용하는 우리 프레임워크와의 부적합성 때문에 인페인팅 기반 목표 상태 조건을 제거했습니다.
하지만 관찰에 사용된 것과 동일한 FiLM 조건화 방법을 통해 목표 조건화는 여전히 가능합니다.
실제로 우리는 CNN 기반 백본이 별도의 하이퍼파라미터 조정 없이도 대부분의 작업에서 잘 작동한다는 것을 확인했습니다.
하지만 원하는 액션 시퀀스가 시간에 따라 빠르고 급격하게 변할 때 (예: 속도 명령 액션 공간) 성능이 저하되는데, 이는 시간적 합성곱의 귀납적 편향이 저주파 신호를 선호하기 때문인 것으로 보입니다 Tancik et al. (2020).
Time-series diffusion transformer
CNN 모델 Tancik et al. (2020)의 과도한 스무딩 현상을 줄이기 위해, 우리는 minGPT Shafiullah et al. (2022)의 트랜스포머 아키텍처를 활용한 새로운 트랜스포머 기반 DDPM을 도입하여 액션 예측에 적용했습니다.
노이즈가 포함된 A_t^k 액션들은 트랜스포머 디코더 블록의 입력 토큰으로 전달되며, 디퓨전 반복 k에 대한 사인파 임베딩이 첫 번째 토큰으로 앞에 붙습니다.
관측값 O_t는 공유 MLP를 통해 관측 임베딩 시퀀스로 변환되고, 이후 입력 피쳐로서 트랜스포머 디코더 스택에 전달됩니다.
"gradient" ε_θ(O_t, A_t^k, k)는 디코더 스택의 각 대응 출력 토큰에 의해 예측됩니다.
우리 상태-기반 실험에서 가장 성능이 뛰어난 정책 대부분은 트랜스포머 백본을 사용해 달성되었으며, 특히 작업 복잡도와 액션 변화율이 높을 때 그 효과가 두드러졌습니다.
하지만 트랜스포머가 하이퍼파라미터에 더 민감하다는 것을 발견했습니다.
Liu et al. (2020)이 제시한 트랜스포머 학습의 어려움은 디퓨전 정책에만 국한된 것이 아니며, 향후 트랜스포머 학습 기법의 개선이나 데이터 규모 확대를 통해 해결될 가능성이 있습니다.
Recommendations.
일반적으로 새로운 작업에 대한 첫 시도로는 CNN 기반 Diffusion Policy 구현부터 시작할 것을 권장합니다.
작업 복잡성이나 높은 빈도의 액션 변경으로 성능이 낮다면, 추가 튜닝 비용을 감수하고 시계열 디퓨전 트랜스포머 공식화를 사용해 성능을 개선할 가능성이 있습니다.
3.2 Visual Encoder
비주얼 인코더는 raw 이미지 시퀀스를 잠재 임베딩 O_t로 매핑하며, diffusion policy와 함께 엔드투엔드로 학습됩니다.
서로 다른 카메라 뷰는 별도의 인코더를 사용하며, 각 타임스텝의 이미지는 독립적으로 인코딩된 후 O_t를 형성하기 위해 concat됩니다.
우리는 다음 수정 사항을 적용한 표준 ResNet-18 (사전 학습 없이)을 인코더로 사용했습니다:
1) 공간 정보를 유지하기 위해 전역 평균 풀링을 공간 소프트맥스 풀링으로 교체합니다 Mandlekar et al. (2021).
2) 안정적인 학습을 위해 BatchNorm을 GroupNorm Wu and He (2018)으로 교체합니다.
이는 정규화 레이어가 Exponential Moving Average He et al. (2020) (주로 DDPM에서 사용됨)과 함께 사용될 때 중요합니다.
3.3 Noise Schedule
σ, α, γ 및 k의 함수로서 가법 가우시안 노이즈 ε_k로 정의되는 노이즈 스케줄은 Ho et al. (2020); Nichol and Dhariwal (2021)에 의해 활발히 연구되었습니다.
기저 노이즈 스케줄은 diffusion policy가 액션 신호의 고주파 및 저주파 특성을 얼마나 잘 포착하는지를 결정합니다.
우리의 대조 과제에서, iDDPM Nichol and Dhariwal (2021)에서 제안된 사각 코사인 스케줄이 우리 과제에 가장 적합하다는 것을 경험적으로 확인했습니다.
3.4 Accelerating Inference for Real-time Control
우리는 로봇 정책으로 디퓨전 과정을 사용하기 때문에, 폐루프 실시간 제어를 위해 빠른 추론 속도가 매우 중요합니다.
Denoising Diffusion Implicit Models (DDIM) 방식 Song et al. (2021)은 학습과 추론에서의 디노이징 반복 횟수를 분리하여, 추론 시 반복 횟수를 줄여 전체 과정을 가속화할 수 있게 합니다.
실제 실험에서, 100번의 학습 반복과 10번의 추론 반복을 수행한 상태에서 DDIM을 사용하면 Nvidia 3080 GPU에서 추론 지연 시간이 0.1초로 줄어듭니다.
4 Intriguing Properties of Diffusion Policy
이 섹션에서는 diffusion policy에 대한 몇 가지 통찰과 직관, 그리고 다른 형태의 정책 표현에 비해 갖는 장점들을 제시합니다.
4.1 Model Multi-Modal Action Distributions
인간 시연에서 멀티 모달 분포를 모델링하는 문제는 행동 복제 연구 문헌 Florence et al. (2021); Shafiullah et al. (2022); Mandlekar et al. (2021)에서 널리 논의되어 왔습니다.
diffusion policy가 멀티모달 분포를 자연스럽고 정확하게 표현할 수 있는 능력은 그 핵심적인 장점 중 하나입니다.
직관적으로, diffusion policy를 위한 액션 생성에서의 멀티 모달리티는 두 가지 원천에서 비롯됩니다 – 기본이 되는 확률적 샘플링 절차와 확률적 초기화.
Stochastic Langevin Dynamics에서는 각 샘플링 과정의 시작 시점에 표준 가우시안 분포에서 초기 샘플 A_t^K를 추출하는데, 이는 최종 액션 예측 A_t^0에 대해 서로 다른 수렴 영역을 지정하는 데 도움을 줍니다.
이 액션은 이후 많은 반복 과정에서 가우시안 섭동이 추가된 상태로 추가적인 확률적 최적화를 거치며, 이를 통해 개별 액션 샘플이 수렴하고 서로 다른 멀티모달 액션 영역 사이를 이동할 수 있게 됩니다.
그림 3은 테스트된 시나리오에 대한 명시적 설명 없이, 평면 푸시 과제 (Push T, 아래에서 소개됨)에서 diffusion policy의 멀티 모달 동작 예를 보여줍니다.
4.2 Synergy with Position Control
그림 4에서 보듯이, 위치 제어 액션 공간을 사용하는 Diffusion Policy가 속도 제어 Diffusion Policy보다 꾸준히 더 뛰어난 성능을 보인다는 것을 확인했습니다.
이 놀라운 결과는 대체로 속도 제어에 의존하는 최근 행동 복제 연구의 대부분과는 대조적입니다 Mandlekar et al. (2021); Shafiullah et al. (2022); Zhang et al. (2018); Florence et al. (2019); Mandlekar et al. (2020b,a).
우리는 이 차이에 대해 두 가지 주요 이유가 있다고 추측합니다: 첫째, 행동 멀티모달리티는 속도 제어를 사용할 때보다 위치 제어 모드에서 더 뚜렷하게 나타납니다.
Diffusion Policy가 기존 방법들보다 액션의 멀티모달리티를 더 잘 표현하기 때문에, 우리는 이것이 본질적으로 기존 방법들보다 이 단점의 영향을 덜 받는다고 추측합니다.
또한, 위치 제어는 속도 제어보다 복합 오차 효과의 영향을 덜 받기 때문에 액션 순서 예측에 더 적합합니다 (다음 섹션에서 논의됨).
그 결과, Diffusion Policy는 위치 제어의 주요 단점에 덜 영향을 받으면서도 위치 제어의 장점을 더 잘 활용할 수 있게 되었습니다.
4.3 Benefits of Action-Sequence Prediction
고차원 출력 공간에서 효과적으로 샘플링하는 것이 어렵기 때문에, 대부분의 정책 학습 방법에서는 시퀀스 예측이 자주 회피됩니다.
예를 들어, 비매끄러운 에너지 지형을 가진 고차원 액션 공간을 효과적으로 샘플링하는 데 IBC가 어려움을 겪을 것입니다.
마찬가지로, BC-RNN과 BET는 액션 분포에 존재하는 모드 수를 명확히 지정하는 데 어려움을 겪을 것입니다 (이는 GMM이나 k-means 단계에 필요합니다).
반면, DDPM은 많은 이미지 생성 애플리케이션에서 보여주듯 모델의 표현력을 유지하면서 출력 차원에 잘 스케일링됩니다.
이 능력을 활용해 Diffusion Policy는 고차원 액션 시퀀스 형태로 액션을 표현하며, 이는 자연스럽게 다음 문제들을 해결합니다:
• 시간적 행동 일관성: 예를 들어 그림 3을 보겠습니다.
T 블록을 아래쪽에서 타깃으로 밀어 넣으려면, 정책이 T 블록을 왼쪽이나 오른쪽 어느 쪽으로든 돌아갈 수 있습니다.
하지만, 시퀀스 내 각 액션이 독립적인 멀티모달 분포로 예측된다고 가정해 봅시다 (BC-RNN과 BET에서 수행된 것처럼).
그럴 경우, 서로 다른 모드에서 연속적인 액션이 그려질 수 있어 두 가지 유효한 궤적 사이를 오가는 불규칙한 액션이 발생할 수 있습니다.
• 유휴 액션에 대한 견고성: 대기 액션은 시연이 일시 중지될 때 발생하며, 동일한 위치 액션이나 거의 0에 가까운 속도의 액션이 연속적으로 나타나는 것을 의미합니다.
원격 조작 시 흔히 사용되며, 액체를 붓는 작업과 같은 경우에 때때로 필요합니다.
하지만 단일 단계 정책은 이러한 일시 정지 액션에 쉽게 과적합될 수 있습니다.
예를 들어, BC-RNN과 IBC는 실제 실험에서 유휴 액션이 명확히 제거되지 않으면 자주 막히게 됩니다.
4.4 Training Stability
이론적으로 IBC는 diffusion policies와 유사한 장점을 가져야 합니다.
하지만 IBC가 본질적으로 학습 불안정성을 가지고 있기 때문에 실제로 신뢰할 수 있고 고성능의 결과를 얻는 것은 어려운 과제입니다 Ta et al. (2022).
그림 6은 학습 과정 전반에 걸쳐 학습 오류가 급증하고 평가 성능이 불안정함을 보여주며, 이로 인해 하이퍼파라미터 조정이 중요해지고 체크포인트 선택이 어려워집니다.
따라서 Florence et al. (2021)은 모든 체크포인트를 평가하고 가장 성능이 좋은 체크포인트의 결과를 보고합니다.
실제 환경에서는 최종 정책을 선택하기 위해 하드웨어에 대한 여러 정책을 평가해야 하는 워크플로우가 필요합니다.
여기서는 왜 Diffusion Policy가 학습에 훨씬 더 안정적으로 보이는지에 대해 논의합니다.
암묵적 정책은 Energy-Based Model (EBM)을 사용하여 액션 분포를 나타냅니다:
, 여기서 Z(o, θ)는 다루기 어려운 정규화 상수이다 (a에 관하여).
암묵적 정책을 위해 EBM을 학습시키기 위해, 식 6의 음의 log-likelihood와 동일한 InfoNCE 스타일의 loss 함수가 사용됩니다:
, 음의 샘플 집합 {a^j}을 사용하여 다루기 어려운 정규화 상수 Z(o, θ)를 추정한다.
실제로, 부정 샘플링의 부정확성은 EBM의 학습 불안정성을 초래하는 것으로 알려져 있습니다 Du et al., (2020); Ta et al. (2022).
Diffusion Policy와 DDPM은 식 6에 나오는 동일한 액션 분포의 점수 함수 Song과 Ermon (2019)을 모델링함으로써 Z(a, θ) 추정 문제를 완전히 우회합니다:
, 노이즈 예측 네트워크 ε_θ(a, o)는 Liu et al. (2022, 2022)의 점수 함수 ∇_a log p(a|o)의 음의 값을 근사하며, 이는 정규화 상수 Z(o, θ)와는 독립적이다.
그 결과, Diffusion Policy의 추론 (식 4)과 학습 (식 5) 과정 모두에서 Z(o, θ)를 평가할 필요가 없어 Diffusion Policy 학습이 더 안정적입니다.
4.5 Connections to Control Theory
Diffusion Policy는 작업이 매우 단순할 때 간단한 제한적 동작을 보이는데, 이는 제어 이론의 엄밀한 이해를 적용할 수 있는 가능성을 제공합니다.
우리가 제어하고자 하는 선형 동역학 시스템이 표준 상태공간 형태로 주어진 경우를 생각해 봅시다:
이제 선형 피드백 정책에서 시연 (롤아웃)을 얻는다고 상상해 봅시다: a_t = -Ks_t.
이 정책은 예를 들어 Linear Quadratic Regulator와 같은 선형 최적 제어 문제를 해결함으로써 얻을 수 있습니다.
이 정책을 모방하는 데 디퓨전의 모델링 파워가 꼭 필요한 것은 아니지만, 정상 작동 여부를 확인하기 위해 Diffusion Policy가 올바르게 동작하는지 볼 수 있습니다.
특히 예측 기간이 한 시점, T_p = 1, 일 때,
를 최소화하는 최적 디노이저는
으로 표현되며, 여기서 σ_k는 디노이징 반복 k에서의 분산입니다.
또한 추론 시점에서 DDIM 샘플링은 a = -Ks에서 전역 최소값으로 수렴합니다.
자연스럽게 궤적 예측 (T_p > 1)이 이어집니다.
s_t의 함수로서 a_(t+t')를 예측하기 위해, 최적 디노이저는 a_(t+t′) = -K(A - BK)^t' s_t 를 생성합니다; w_t가 포함된 모든 항은 기댓값에서 0입니다.
이는 상태에 의존하는 행동을 완벽하게 복제하려면 학습자가 (과제와 관련된) 동역학 모델을 암묵적으로 학습해야 함을 보여줍니다 Subramanian과 Mahajan (2019); Zhang et al. (2020).
식물이나 정책 중 하나라도 비선형적이라면, 미래 액션을 예측하는 일이 훨씬 더 어려워지고 다시 멀티모달 예측이 필요할 수 있다는 점에 유의하세요.
5 Evaluation