Исследователи представляют RoboTTT, рецепт обучения, который расширяет визуомоторный контекст для фундаментальных моделей роботов до 8000 шагов по времени без увеличения задержки вывода. Метод интегрирует обучение во время тестирования в политики Vision-Language-Action с использованием быстрых весов, обновляемых посредством градиентного спуска как во время обучения, так и при выводе.
- Длина контекста масштабируется с помощью принудительного применения последовательных действий в сочетании с усечённым обратным распространением через время.
- Подход позволяет одношаговое имитационное обучение в контексте, улучшение политики на лету и устойчивость к возмущениям.
RoboTTT улучшает общую производительность на 87% по сравнению с базовыми одношаговыми подходами и завершает пятиминутную сборку из десяти этапов, которую другие модели не могут выполнить.
- Модели, обученные с контекстом в 8 тысяч шагов по времени, превосходят модели, предварительно обученные на 1000 шагах, на 62%, что устанавливает длину контекста как новую ось масштабирования.
Авторы считают это значимым, поскольку это открывает возможности для многоэтапных задач с длительным горизонтом и демонстрирует стабильный рост производительности в замкнутом цикле по мере увеличения контекста предварительного обучения.