研究者らは、視覚運動コンテキストをロボット基盤モデル向けに8,000タイムステップまで拡張しつつ推論レイテンシを増加させないトレーニングレシピであるRoboTTTを発表した。この手法は、トレーニングと推論の両方で勾配降下によって更新される高速重みを用いることで、テストタイムトレーニングをビジョン・ランゲージ・アクションポリシーに統合する。

  • コンテキスト長は、シーケンスアクションフォースイングと時間を通じた切り捨てバックプロパゲーションを組み合わせて拡張される。
  • このアプローチにより、ワンショットのインコンテキスト模倣、オンザフライのポリシー改善、および摂動に対する頑健性が可能になる。
  • RoboTTTは単一ステップのベースラインと比較して総合パフォーマンスを87%向上させ、他のモデルが完了できない5分間の10ステージ組立タスクを完了する。
  • 8Kタイムステップのコンテキストでトレーニングされたモデルは、1Kタイムステップで事前トレーニングされたモデルよりも62%優れており、コンテキスト長を新たなスケール軸として確立した。

著者らはこれを重要視している。なぜなら、マルチステージかつロングホライゾンのタスクに対する能力を開封し、事前トレーニングコンテキストのスケールに伴って閉ループパフォーマンスで着実な向上を示しているからである。