연구자들은 시각-언어-행동(VLA) 모델에서 전문가 실연 데이터의 부족을 해결하기 위해 물적 능력과 의미 정렬을 분리하는 두 단계 프레임워크인 작업 비의존 사전 학습(TAP)을 제안했습니다. 이 방법은 먼저 레이블 없는 상호작용 데이터로부터 자기지도형 역동학 목적 함수를 통해 이전 가능한 운동 사전 지식을 학습한 후, 최소한의 전문가 데이터를 사용하여 이러한 사전 지식을 언어에 grounding합니다.

  • TAP은 100만 개 이상의 전문가 트래젝토리에서 학습된 모델과 동등한 성능을 발휘하면서 레이블 데이터의 양을 orders of magnitude만큼 줄입니다.
  • 이 접근 방식은 SIMPLER 벤치마크에서 표준 행동 복제 대비 절대적 10%의 향상을 가져옵니다.
  • 실제 WidowX 플랫폼에서 TAP은 인터넷 규모 기반 모델이 0%로 붕괴되는 카메라 섭동 하에서도 25%의 성공률을 유지합니다.

이는 작업 비의존 사전 학습이 강건하고 이전 가능한 물리적 표현을 생성하며, 구체적 AI를 위한 확장 가능한 경로를 제공함을 보여줍니다.