Tencent ने Hy-Embodied-RxBrain-1.0 जारी किया है, जो ~6.2B पैरामीटर वाला एक एकीकृत मल्टीमोडल फाउंडेशन मॉडल है जिसे एम्बॉडेड कॉग्निशन के लिए डिज़ाइन किया गया है और जो भाषा तर्क को दृश्य कल्पना से जोड़ता है।
- मॉडल एक Unified Mixture-of-Transformers (MoT) बैकबोन का उपयोग करता है जहाँ समझ और छवि संश्लेषण एक ही ऑटोरेग्रेसिव आर्किटेक्चर साझा करते हैं।
- इसमें एक flow-matching इमेज हेड है जो कल्पित फ्रेम उत्पन्न करने के लिए एक फ्रोजन FLUX VAE लैटेंट स्पेस में डिकोड करता है।
- प्रमुख क्षमताओं में एम्बॉडेड समझ, विश्व राज्य पूर्वानुमान, और पाठ तर्क और दृश्य लक्ष्यों के अंतःशामल संश्लेषण के माध्यम से संयुक्त सबगोल प्लानिंग शामिल हैं।
इस दृष्टिकोण से मॉडल कार्यों को चरणों में विभाजित कर सकता है, जिसमें अगली क्रिया और उस लक्ष्य छवि दोनों उत्पन्न होती है जिसे उसे प्राप्त करना चाहिए।