Шанхайская лаборатория искусственного интеллекта представила InternW0, первую реализацию серии физических моделей мира InternW, предназначенную для поддержания действенных прогнозов в динамических средах. Модель совместно обучается предсказывать будущие визуальные динамики и непрерывное управление роботом с использованием асимметричной архитектуры видео-действий с согласованием потоков.

  • InternW0 использует эксперта по видео высокой пропускной способности для контекста на длительных горизонтах и легковесного эксперта по действиям для более быстрых временных масштабов.
  • Она повторно использует послойные состояния K/V и адаптирует их к новым наблюдениям посредством маршрутизации контекста, избегая регенерации для каждого обновления.
  • Обучение использовало около 7200 часов гетерогенных данных с роботов и от первого лица, включая датасет EgoLab объемом 275 часов.
  • Оценка включала 15-этапный рабочий процесс синтеза металлоорганических каркасов и 5-этапное манипулирование с учетом контакта.

Эти результаты продвигают масштабируемые, асинхронные и естественно ориентированные на науку физические модели мира для универсального и эффективного взаимодействия с реальным миром.