Tencent telah merilis Hy-Embodied-RxBrain-1.0, sebuah model dasar multimodal terpadu dengan sekitar 6,2 miliar parameter yang dirancang untuk kognisi berwujud yang menggabungkan penalaran bahasa dengan imajinasi visual.
- Model ini menggunakan backbone Unified Mixture-of-Transformers (MoT) di mana pemahaman dan sintesis gambar berbagi satu arsitektur autoregresif.
- Model ini memiliki kepala gambar pencocokan aliran yang mendekode ke dalam ruang laten FLUX VAE yang dibekukan untuk menghasilkan frame yang diimajinasikan.
- Kemampuan utama meliputi pemahaman berwujud, prediksi keadaan dunia, dan perencanaan sub-tujuan bersama melalui generasi selang-seling dari penalaran teks dan tujuan visual.
Pendekatan ini memungkinkan model untuk memecah tugas menjadi langkah-langkah dengan mengeluarkan tindakan berikutnya dan gambar tujuan yang harus dicapainya.