Xiaomi представила Xiaomi-Robotics-U0, мультимодальную авторегрессионную модель с 38 миллиардами параметров, предназначенную для унифицированного воплощённого синтеза. Модель рассматривает воплощённую генерацию как расширение базовой генерации изображений и видео, совместно оптимизируя генерацию текста в изображение, редактирование изображений, генерацию воплощённых сцен, воплощённый перенос и генерацию воплощённого видео.
- Сохраняет обобщающую способность предварительно обученных базовых моделей мира, адаптируя их к воплощённым настройкам.
- Поддерживает высококачественную генерацию многовидовых сцен для различных воплощений роботов.
- Вводит структурированный контролируемый воплощённый перенос для тонкого редактирования при сохранении многовидовой согласованности.
- Превосходит GPT-Image-2.0 в человеческих оценках генерации и переноса воплощённых сцен.
- Занимает первое место в World Arena по генерации воплощённого видео.
- Увеличивает долю успешных результатов за пределами распределения pi_0.5 с 36,9% до 63,2% на сложных задачах манипуляции в реальном мире.
Результаты демонстрируют, что базовые модели мира могут служить как воплощёнными моделями мира, так и масштабируемыми источниками данных для воплощённого интеллекта.