GEN-1.5: Embodied Foundation Models are One-Shot Learners

GEN-1.5: Embodied Foundation Models are One-Shot Learners

 

GeneralistAI

 

인간은 단 한두 가지 예시만으로도 새로운 신체 기술을 놀라울 정도로 잘 수행할 수 있습니다. 
우리의 최신 로봇 파운데이션 모델인 GEN-1.5는 바로 그 능력의 시작을 보여줍니다: 그래디언트 업데이트나 파인튜닝 없이도 단일 예시만으로 몇 초 만에 새로운 작업을 학습할 수 있습니다. 
이 모델은 데모를 통한 원샷 및 퓨샷 학습뿐만 아니라 제로샷 물리 일반화에서도 폭넓은 성능을 보여줍니다. 
과제들이 단순하고 단기간에 끝나는 것임에도 불구하고, 물리적 기술에 대해 원샷 및 퓨샷 학습이 대규모로 구현된 첫 번째 모델입니다. 
우리는 이 결과를 물리적 세계를 위한 범용 지능 구축이라는 우리의 사명에 한 걸음 더 다가선 중요한 진전으로 봅니다.

 

 

 

1. Introduction

로봇 파운데이션 모델의 약속은 간단히 말할 수 있습니다: 로봇에게 다가가서 거의 즉시 어떤 작업이든 하게 한다. 
제로샷이든, 원샷이든, 퓨샷이든, 능력 측면에서 중요한 것은 즉시성과 일반성입니다: 모델이 새로운 작업을 빠르게 학습하고 새로운 상황에 일반화할 수 있나요? 
물리적 작업에서는 작업 의도를 폭넓게 이해하는 능력과 더불어, 현실 세계의 예기치 않은 변화에 실시간으로 적응하는 능력이 요구됩니다.

 

언어 모델의 경우, 단 몇 가지 예시만으로도 새로운 작업을 빠르게 학습하는 능력이 GPT-3의 대표적인 특징으로 자리 잡았습니다. 
다양한 언어 과제에서, 학습 없이 한 번의 문맥 내 프롬프트만으로 약 45%의 평균 정확도를 기록했고, 약 100개의 예시만으로는 최대 65%까지 정확도를 높였습니다. 
GPT-3 이전 모델들은 제로샷 능력의 순간적인 발현이나 초기 퓨 샷 결과를 보여주긴 했지만, GPT-3는 훨씬 더 넓은 범위의 퓨 샷 성능을 달성했고, 당시로서는 일반화 능력에 있어 엄청난 진전이었습니다.

 

로봇공학에서는 한두 번의 시연으로부터 작업을 일반화할 수 있는 시스템을 추구하는 유사한 노력이 수십 년 동안 이어져 왔습니다  — 적어도 1954년 Unimate 특허와 MIT의 1970년 Copy Demo의 가르침을 통해 거슬러 올라갑니다. 
우리 연구를 포함한 많은 이전 연구들은 다양한 형태의 인컨텍스트 학습을 보여주었지만, 제한된 과제 변형이나 특정 객체, 과제 유형, 감지 방식에 대한 제약이 있었습니다.
한두 번의 시범만으로 폐쇄 루프 물리 기술을 배우고, 그런 제약 없이 다양한 작업에 적용할 수 있는 능력은 주로 달성하기 어려운 것으로 여겨져 왔습니다. 
이러한 능력은 다른 광범위한 일반화 능력을 가능하게 하는 기반 위에 놓여 있을 가능성도 큽니다.

 

 

 

2. Introducing GEN-1.5

우리는 GEN-1.5라는 최신 로봇 파운데이션 모델을 개발했습니다, 이 모델은 시범 학습 능력으로부터 광범위한 원샷 및 퓨샷 학습을 보여주며, 즉흥 연기나 새로운 도구 사용 (예: brush, dustpan 등) 같은 제로샷 일반화도 수행합니다. 
GEN-1.5는 비디오 입력 (30초 분량의 메모리와 함께 다른 센서, 언어, 고유수용감각 입력)을 처리하고 100Hz의 액션 궤적을 생성하는 대형 멀티모달 모델입니다. 
그 기능에는 다음이 포함됩니다:

 · 인컨텍스트 프롬프트를 통한 원샷 학습. 
이 모델은 3초에서 12초 정도의 단일 시범만으로도 학습 없이 몇 초 만에 새로운 작업을 학습합니다.

우리는 맥락 창에서 감각운동 예시를 사용하는 것을 "physical prompting."라고 부릅니다
   · 구성 일반화. 
문맥 속에서 두 개의 서로 다른 신체적 프롬프트가 주어지면, 모델은 이를 하나의 장기적 행동으로 연결합니다.
   · 제로샷 sim-to-real 전이. 
시뮬레이션으로 녹화된 시연은 사전 학습에 시뮬레이션 데이터가 없더라도 실제 작업에 대한 물리적 프롬프트 역할을 합니다.
   · human-to-robot 모방. 
어떤 경우에는 사람이 로봇의 카메라를 보며 자신의 손으로 작업을 시연할 수 있고, 모델은 로봇의 손으로 그것을 재현합니다.
 · 경사 하강법을 이용한 퓨샷 적응. 
이 모델은 1~5분 분량의 데이터 (약 10~50회 시연)를 바탕으로 1~10회 그래디언트 스텝 내에 새로운 작업에 맞게 파인튜닝할 수 있습니다.
 · 새로운 전략과 도구 사용을 즉흥적으로 실행하기. 
이 모델은 행동 전략 수준에서 일반화됩니다: 목표를 달성하기 위해 완전히 새로운 경로를 만들고, 보지 못한 도구 (예: brush, dustpan 등)를 사용해 다른 도구로 보여준 과제에 대한 새로운 해결책을 창출하며, 특정 손으로 과제를 수행하도록 지시받거나 파인튜닝되어도 양손을 모두 사용해 작업하는 능력.

 

이러한 능력들은 대량의 물리적 상호작용 데이터를 사전 학습한 결과로 직접 나타나는 것으로 보입니다. 
우리는 그들 중 어느 하나를 명시적으로 학습하지 않았습니다: 문맥 내 학습을 촉진하는 구조적 변화가 없고, 최소한의 데이터만으로 모델이 적응하도록 내부 또는 외부 메타러닝 루프가 없으며, 즉흥적인 행동을 유도하는 보조 objective도 없습니다. 
놀랍게도 GEN-1.5는 기본 설정만으로도 다양한 신체 작업을 수행할 수 있습니다.

 

10가지 다양한 과제에서 실험한 결과, 사전 학습된 모델만으로도 한 번의 인컨텍스트 프롬프트만으로 평균 59% (±10% 표준편차)의 성공률을 보였습니다. 
퓨 샷 학습을 적용하면, 약 5분 분량의 데이터 (약 50회 시연)를 바탕으로 10회 그래디언트 스텝을 거쳐 성능이 83% (±9% 표준편차)까지 향상됩니다. 
어떤 경우에는, 인컨텍스트 학습이 동일한 시범 데이터에서 1~5단계의 그래디언트 학습 성능을 뛰어넘기도 합니다. 
과제들이 단순하고 단기간에 수행할 수 있으며 성공률도 그리 높지 않지만, 단 원 샷 또는 퓨 샷 시연만으로도 다양한 정교한 폐쇄 루프 물리 과제를 학습할 수 있는 일반적인 능력을 입증한 최초의 모델입니다.

 

 

 

3. Scaling Pretraining for Robotics

지난 2년간 우리는 물리적 경험을 바탕으로 처음부터 학습된 embodied 파운데이션 모델을 확장하기 위한 사전 학습 엔진 개발에 집중해 왔으며, 알고리즘 개선도 함께 이루어져 발전 속도가 더욱 빨라졌습니다. 
9개월 전에 발표했듯이, GEN-0에 이르기까지 우리는 예측 가능한 스케일링 법칙을 관찰하기 시작했습니다. 
5개월 후, 우리는 GEN-1을 발표했는데, 이 모델은 99% 이상의 성공률로 과제 숙달을 위한 사후 학습 능력을 입증했고, 즉흥적 지능의 초기 징후도 보였습니다.

 

GEN-1.5의 초기 사전 학습이 병렬로 시작되었습니다 — 그것은 이제 8개월 넘게 계속 훈련해 왔다. 
우리가 추적한 모든 지표가 엔진과 함께 계속 개선되었기 때문에, 우리는 그것을 계속 가동시켰습니다: 더 많은 데이터를 흡수하고, 연산 능력으로 더 효율적으로 확장하며, 연속적인 수술 구조와 알고리즘 변경을 통해 획기적인 성과를 이루는 것. 
모델이 점점 더 나아지고 있다는 점이 분명했고, 새로운 작업들은 데이터 효율성, 계산 효율성, 그리고 범용성이 점점 높아지는 추세를 보였습니다.

 

모델이 계속 학습하면서, 새로운 작업에 적응하기 위해 몇 번의 파인튜닝만으로도 충분한지 실험해봤는데, 모델이 100번, 10번, 그리고 결국 1분짜리 데이터에서 1번의 그래디언트 단계만으로도 새로운 작업을 학습할 수 있다는 걸 발견했습니다. 
우리가 알기로는, 이렇게 적은 그래디언트 단계로 기술을 학습하는 능력은 이전에 관찰된 적이 없었습니다. 
그다음 우리는 이 모델이 학습 없이, 오로지 문맥 내에서, 그리고 zerp 그래디언트 단계로 새로운 작업을 학습할 수 있는지 물었습니다? 
이 기술이 실제로 작동한다는 사실은, 이러한 모델들이 어떻게 활용될 수 있는지, 그 잠재적 영향은 무엇인지, 그리고 일반적인 물리 지능을 구축하는 데 어떤 길이 있을지에 대한 우리의 생각을 바꾸어 놓았습니다.

 

 

 

4. One-Shot Learning In-Context

GEN-1.5는 30초 컨텍스트 창에 단일 시연을 삽입해 프롬프트를 받을 수 있으며, 나머지 시간은 롤링 관찰을 유지합니다. 
물리적 프롬프트는 감각운동 예시 (즉, 센서 데이터와 액션 궤적)로, 인간 데이터 (손에 든 그리퍼 한 쌍을 이용)나 로봇 자체에서 출력된 형태로 기록됩니다. 
프롬프트가 문맥에 맞게 입력되면, 모델은 별도의 학습 과정 없이 바로 작업을 수행합니다. 
인컨텍스에서 원샷 러닝의 성능은 다소 미미한 편입니다 (handling zippers, opening jars, grabbing money out of wallets, 등 다양한 작업에서 평균 59% 성공률), 하지만 학습 없이 단 한 번의 시범만 컨텍스트 버퍼에 넣었을 때도 어느 정도의 능력이 나타난다는 점은 예상 밖이었습니다. 
이로 인해 기본 성과 수준에 도달하는 속도가 크게 빨라지고, 이후에는 이를 숙달 단계로 다듬어 나갈 수 있습니다. 
인컨텍스에서 학습된 기술은 현재 파인튜닝된 모델보다 더 취약하지만, 일부 교란에 대해 일반화하고, 즉흥적으로 대응하며, 실수로부터 회복할 수 있습니다.

 

우리는 GEN-1.5를 인컨텍스트 학습을 위해 명시적으로 학습하지 않았으며, 테스트한 과제들도 사전 학습 데이터에 포함되어 있지 않았습니다. 
이것은 사전 학습 데이터 분포와는 무관하게 우리가 프롬프트를 주는 일반적인 모델입니다.

 

이러한 능력이 사전 학습에서 비롯된 이유를 정확히 짚어내기는 어렵습니다. 
언어에 비유하자면, 물리적 관찰과 액션의 분포가 언어 모델의 문맥 내 학습과 연관된 "burstiness"와 Zipfian 구조를 보일 수 있다는 가설이 있습니다. 
또한 신체 작업에는 자연스럽게 반복되는 주기가 포함될 수 있으며, 이 모델은 언어 모델이 일반적인 순서를 인식하고 확장하는 것처럼 그런 패턴을 감지하고 확장하는 법을 배웠을 가능성도 있습니다. 
이 모델은 우리 데이터 엔진에서 랜덤으로 샘플링한 연속 구간 (가정, 창고, 공장 등에서 포착된 활동)을 기반으로 사전 학습되었으며, 예시를 맥락에 맞게 포장하는 별도의 인프라는 없었습니다 — 물리적 프롬프트는 모델이 학습 과정에서 한 번도 경험하지 못한 불연속적인 시간 점프를 도입합니다.

 

로봇공학은 본질적으로 멀티모달이며, 인간의 학습처럼 로봇에게 새로운 것을 가르치는 방법도 다양합니다 — (a) 시연 또는 (b) 언어 지시 중 두 가지 선택지는 인간이 작업을 지정하는 데 가장 자연스러운 방법일 것입니다. 
어떤 작업 지시에는 언어만으로도 충분하지만, 많은 신체 액션은 언어로 정확히 설명하기 어렵습니다 (예를 들어, 레고 블록 두 개를 정확히 놓는 방법을 말하는 것보다 보여주는 것이 훨씬 쉽습니다). 
원어민의 관찰과 액션을 통해 과제를 유도하는 것은 감각운동 이해를 더 포괄적으로 평가하는 방법이기도 합니다: 모델은 시연에서 목표를 추론하고, 기존 지식을 재활용하며, 새로운 초기 조건에서 즉흥적으로 대응해야 합니다.

 

4-a. Compositional Generalization with Physical Prompt Engineering

물리적 프롬프트도 작성할 수 있습니다. 
예를 들어, 서로 다른 두 과제의 시연을 각각 독립적으로 녹화하고 전환 없이 연속적으로 배치하면, GEN-1.5는 이를 하나의 연속된 행동으로 연결해 한 과제를 수행한 뒤 다음 과제로 자연스럽게 이어지게 할 수 있습니다. 
이 모델은 두 가지를 스스로 연결해 중간 단계의 동작들 (재배치, 재그립, 오류 복구)을 만들어내는데, 이는 두 시연 모두에 나타나지 않습니다.

 

실제로는 이것이 “physical prompt engineering”을 가능하게 합니다: 완전한 복합 작업의 시연을 수집하는 대신, 짧고 재사용 가능한 물리적 프롬프트의 작은 라이브러리에서 그것을 조합할 수 있습니다. 
모델이 발전함에 따라, 문맥 속에서 작곡하는 능력은 장기적인 행동을 프로그래밍하는 실용적인 방법이 될 수 있습니다; 이는 언어 프롬프트에서 지시를 연쇄적으로 연결하는 것과 물리적으로 유사한 개념입니다.

 

4-b. Zero-Shot Sim-to-Real Transfer with In-Context Learning

인컨텍스트 학습은 시뮬레이션과 실제 간의 격차도 극복합니다. 
프롬프트는 시뮬레이션 경험만으로도 완전히 구성될 수 있습니다 (예: 스크립트화된 정책, 강화학습 에이전트, 또는 시뮬레이션 로봇을 원격 조종하는 인간), 이렇게 만들어진 프롬프트는 실제 로봇을 작동시키는 데 사용됩니다. 
명확히 말하자면, 'zero-shot sim2real transfer'는 보통 특정 작업에 대해 시뮬레이터에서 정책을 학습한 뒤, 실제 데이터 없이 그 정책을 현실 세계에서 실행하는 것을 의미합니다. 
하지만 여기서 보여주는 경우에는 모델이 시뮬레이터나 실제 환경 모두에서 해당 작업에 대해 학습되지 않았습니다.

 

GEN-1.5 사전 학습에는 렌더링된 영상이나 시뮬레이션된 동역학 데이터가 포함되어 있지 않지만, 시뮬레이터에서 롤아웃을 통해 효과적으로 모델을 학습시킬 수 있습니다. 
그 후 프롬프트 행동은 다른 신체적 유도 프롬프트들처럼 일반화됩니다: 실제 장면에서 서로 다른 손과 새로운 물체의 위치 및 크기로. 
일부 작업에 대해서는, 시연을 더 이상 물리적으로 수집할 필요가 없다는 뜻입니다 — 대신 시뮬레이터 내부에서 어떤 수단으로든 수집할 수 있습니다.

 

4-c. Human-to-Robot In-Context Learning

어떤 경우에는 인컨텍스트 학습이 embodiment 간극을 완전히 넘어 전이되기도 합니다: 사람이 자신의 손으로 작업을 시연하면, 로봇의 카메라를 통해 그 모습을 관찰할 수 있고, 로봇은 그 직후에 이를 그대로 재현할 수 있다.

 

 

 

5. Few Gradient Step Adaptation

GEN-1.5는 1단계에서 10단계 정도의 아주 적은 그래디언트 단계만으로도 새로운 물리적 작업에 적응할 수 있습니다. 
일반적으로 이전 로봇 모델을 새로운 작업에 맞게 학습시키는 데는 수만 단계의 그래디언트 계산이 필요할 수 있지만 (때로는 그보다 훨씬 더 많을 때도 있습니다), 파운데이션 모델의 특징적인 능력은 적은 양의 파인튜닝만으로도 새로운 작업에 빠르게 적응할 수 있다는 점입니다. 
이 메커니즘은 예를 들어 2차 그래디언트를 통해 명시적으로 구축할 수 있어 빠른 적응을 유도할 수 있지만, GEN-1.5의 사전 학습된 base 모델은 이런 별도의 장치 없이도 매우 적은 단계만으로 이미 적응하는 것을 확인했습니다.

 

특히, 이렇게 극히 적은 수의 학습 단계만으로도 작업별 계산량이 훨씬 적어지고, 강도 높은 파인튜닝보다 훨씬 유연한 작업 적응 방식을 가능하게 합니다. 
이를 매우 낮은 데이터 환경에서의 테스트 시 학습이라고 표현하는 것이 더 적절할 수 있습니다. 
테스트 시점의 학습은 보통 수십 단계의 그래디언트를 사용하며, GEN-1.5는 5분 분량의 데이터로 1~10단계 만에 새로운 물리적 과제를 학습합니다. 
10 단계는 제시된 과제에서 모델 가중치를 0.15% 미만으로만 바꾸는데, 이는 파인튜닝이 새로운 표현을 만드는 것보다 이미 존재하는 지식을 약간 재구성하는 것임을 시사합니다.

 

10단계 적응 실험에서는 5분 분량의 데이터에서 시퀀스를 샘플링하고, 사전 학습과 유사한 하이퍼파라미터를 사용해 경사 하강법으로 학습했습니다. 
극단적인 원스텝 방식에서는 1분간의 데이터로 샘플링했을 때, 기다려야 하는 과제에서 성공률이 66.5%였으며, 배치 크기와 학습률이 커질수록 성능이 향상되었습니다. 
이 절차나 스윕 적응형 하이퍼파라미터를 조정하지 않았으며, 결과는 대부분 기본 설정에서 나온 것입니다.

 

 

 

6. Physical Generalization

 

 

 

7. Looking Ahead

이 여정을 시작할 때, 우리는 특별히 원샷 학습자를 만들려고 한 것은 아니었습니다. 
우리 팀의 역사 대부분은 로봇 공학에서 사전 학습 과학을 근본부터 반복 개선할 수 있는 핵심 장비를 구축하는 데 집중되어 왔습니다, 그 시작은 대규모로 고품질의 물리적 경험을 모델 과학에 제공할 수 있는 데이터 엔진이었습니다.

 

GEN-1.5는 성공률이 더 높아서가 아니라, 범용성의 새로운 영역을 의미한다는 점에서 과학적으로 매우 중요한 이정표라고 생각합니다 — 물리적 상호작용 데이터 규모로 사전학습될 때 이 모델들이 어떻게 작동하는지에 대한 우리의 이해에 도전하는 모델입니다. 
GEN-0과 GEN-1은 각각 더 많고 더 나은 사전 학습이 새로운 작업에 대한 적응을 더 데이터 효율적으로 만들 것이라는 확신을 점점 높여주었습니다. 
우리가 측정한 모든 추세는 같은 방향을 가리켰다: 사전 학습을 더 많이 하면 적응이 더 빠르고, 비용도 적게 들며, 더 일반화됩니다.

우리는 아직 그 곡선이 어디에서 점근선을 가지는지 보지 못했습니다.

 

지금은 분명해졌고, 뒤돌아보면 더 명확해진 사실은, 일정 수준 이상의 사전 학습이 이루어지면 적응 비용이 거의 무시할 만하다는 점입니다. 
몇 초간의 데이터나 1분간의 시연에서 한 번의 그래디언트 단계만으로도, 기존의 의미에서 과제별 맞춤 학습이 더 이상 이루어지지 않습니다. 
이는 모델이 거의 알고 있는 것을 아주 적은 계산량으로 다시 떠올리게 하는 것에 가깝습니다. 
이 기술이 실제로 작동한다는 사실은, 이러한 모델들이 어떻게 활용될 수 있는지, 그 잠재적 영향은 무엇인지, 그리고 일반적인 물리 지능을 구축하는 데 앞으로 어떤 길이 있을지에 대한 우리의 생각을 바꾸어 놓았습니다.

 

수십 년 동안 로봇은 원칙적으로 무엇이든 할 수 있는 "general-purpose” 기계로 홍보되어 왔습니다 — 과거의 단일 목적 공장 자동화와는 대조적이다. 
하지만 그 약속은 항상 전문가가 프로그래밍해야 한다는 조건이 붙어 있었고, 그 작업에는 수개월의 노력과 전문 지식이 필요했습니다. 
로봇과의 상호작용이 단순히 무엇을 하라고 보여주는 것에 그친다면, 두 가지가 근본적으로 달라집니다: 
로봇이 얼마나 빨리 유용해지는가 (몇 달이 아니라 몇 초 단위로), 그리고 누가 로봇과 함께 일할 수 있는가 (누구나 가능).