NVIDIA представляет RoboTTT, фундаментальную модель для роботов и рецепт обучения, который расширяет визуомоторный контекст до 8000 шагов без увеличения задержки вывода. Интегрируя обучение во время тестирования (Test-Time Training) в политики Vision-Language-Action, система сжимает историю в пространстве весов с использованием быстрых весов, обновляемых методом градиентного спуска.

  • Обеспечивает одношаговое имитационное обучение в контексте на основе демонстраций из видео человека и улучшение политики в реальном времени.
  • Достигает устойчивости к возмущениям и более высокой эффективности на многоэтапных задачах с длительным горизонтом.
  • Улучшает общую производительность на 87% по сравнению с базовыми уровнями одношагового контекста на задачах манипулирования реальными роботами.
  • Полностью завершает пятиминутную десятиэтапную задачу сборки, которую ни одна из базовых моделей не смогла выполнить.
  • Превосходит модели, предварительно обученные на 1000 шагах, на 62%, устанавливая длину контекста как новую ось масштабирования.

Авторы считают это важным, поскольку это открывает новые возможности для фундаментальных моделей роботов и демонстрирует стабильный рост производительности в замкнутом цикле по мере увеличения длины контекста предварительного обучения.