NVIDIA는 추론 지연 시간을 증가시키지 않고 시각운동 컨텍스트를 8,000 타임스텝으로 확장하는 로봇 파운데이션 모델 및 학습 레시피인 RoboTTT를 소개합니다. 테스트 타임 트레이닝을 비전-라이트액션 정책에 통합함으로써, 이 시스템은 경사 하강법으로 업데이트되는 빠른 가중치를 사용하여 히스토리를 가중치 공간으로 압축합니다.
- 인간 비디오 데모로부터 원샷 인컨텍스트 모방 및 실시간 정책 개선을 가능하게 합니다.
- 교란에 대한 견고성과 다단계, 장기간 작업에서 더 강력한 성능을 달성합니다.
- 실제 로봇 조작 작업에서 단일 스텝 컨텍스트 베이스라인 대비 전체 성능을 87% 향상시킵니다.
- 어떤 베이스라인도 완료하지 못한 5분간 10단계 조립 작업을 완전히 완료합니다.
- 1,000 타임스텝으로 사전 훈련된 모델보다 62% 더 뛰어난 성능을 보이며, 컨텍스트 길이를 새로운 스케일링 축으로 확립합니다.
저자들은 이것이 로봇 파운데이션 모델에 새로운 기능을 열어주고, 사전 트레이닝 컨텍스트 길이가 확장됨에 따라 폐루프 성능에서 꾸준한 개선을 보여주기 때문에 중요하다고 간주합니다.