NVIDIAは、推論レイテンシを増加させることなく視覚運動コンテキストを8,000タイムステップに拡張するロボットファウンデーションモデルおよびトレーニングレシピであるRoboTTTを発表した。テストタイムトレーニングをVision-Language-Actionポリシーに統合することで、システムは勾配降下によって更新される高速重みを用いて履歴を重み空間に圧縮する。

  • ヒューマンビデオのデモンストレーションからのワンショットインコンテキスト模倣とオンザフライのポリシー改善を可能にする。
  • 摂動に対する頑健性と、マルチステージ、ロングホライズンタスクにおけるより強力なパフォーマンスを実現する。
  • リアルロボット操作タスクにおいて、シングルステップコンテキストベースラインと比較して全体のパフォーマンスを87%向上させる。
  • いかなるベースラインも完了できなかった5分間の10ステージの組立タスクを完全に完了する。
  • 1,000タイムステップで事前学習されたモデルを上回る62%のパフォーマンスを発揮し、コンテキスト長を新たなスケーリング軸として確立する。

著者らはこれを重要視している。なぜなら、それはロボットファウンデーションモデルに新しい能力を開封し、事前トレーニングコンテキスト長のスケールに伴って閉ループパフォーマンスの着実な向上を示すからである。