Компании Tencent Robotics X, Futian Laboratory и Tencent Hunyuan опубликовали технический отчет, код для вывода (inference) и веса модели Hy-Embodied-RxBrain-1.0 — унифицированной мультимодальной базовой модели с ~6.2B параметров для воплощенного познания.
Модель связывает языковое рассуждение с визуальным воображением посредством чередующегося авторегрессионного генерирования, чередуя текст и совмещенные по потоку воображаемые кадры в одной последовательности. Ключевые архитектурные компоненты включают унифицированный бэкбоун Mixture-of-Transformers с путями, специфичными для модальностей, и Flow-Matching Image Head, декодирующий в замороженное латентное пространство FLUX VAE.
RxBrain обеспечивает три основные возможности: воплощенное понимание и рассуждение над изображениями и видео, предсказание состояния мира для воображения кадров ближайшего будущего и совместное планирование подцелей, разбивающее задачи на шаги с помощью языковых действий и целевых изображений.