Компания Tencent выпустила Hy-Embodied-RxBrain-1.0 — единую мультимодальную базовую модель с ~6.2B параметров, предназначенную для воплощённого познания и сочетающую языковое рассуждение с визуальным воображением.
- Модель использует единый бэкбоунд Unified Mixture-of-Transformers (MoT), где понимание и синтез изображений разделяют одну авторегрессионную архитектуру.
- Она оснащена головкой image head на основе flow-matching, которая декодирует в замороженное латентное пространство FLUX VAE для генерации воображаемых кадров.
- Ключевые возможности включают воплощённое понимание, предсказание состояния мира и совместное планирование подцелей через чередующуюся генерацию текстового рассуждения и визуальных целей.
Этот подход позволяет модели разбивать задачи на шаги, генерируя как следующее действие, так и целевое изображение, к которому она должна прийти.