A NVIDIA apresenta o RoboTTT, um modelo fundamental e uma receita de treinamento para robôs que estende o contexto visuomotor para 8.000 etapas sem aumentar a latência de inferência. Ao integrar o Test-Time Training em políticas Vision-Language-Action, o sistema comprime o histórico no espaço de pesos usando pesos rápidos atualizados por descida do gradiente.

  • Permite imitação in-context one-shot a partir de demonstrações em vídeo humano e melhoria de política em tempo real.
  • Consegue robustez a perturbações e desempenho mais forte em tarefas multiestágio e de longo prazo.
  • Melhora o desempenho geral em 87% em relação às linhas de base de contexto de uma etapa em tarefas de manipulação com robôs reais.
  • Completa totalmente uma tarefa de montagem de cinco minutos e dez etapas que nenhuma linha de base conseguiu concluir.
  • Supera modelos pré-treinados com 1.000 etapas em 62%, estabelecendo o comprimento do contexto como um novo eixo de escalonamento.

Os autores consideram isso importante porque desbloqueia novas capacidades para modelos fundamentais de robôs e demonstra ganhos constantes no desempenho em loop fechado à medida que o comprimento do contexto de pré-treinamento escala.