Tencent a publié Hy3, un nouveau grand modèle de langage (LLM) sous licence Apache 2.0 développé par l'équipe Tencent Hy. Le modèle dispose de 295 milliards de paramètres au total avec 21 milliards de paramètres actifs et prend en charge une longueur de contexte de 256K.
- Hy3 utilise une architecture Mixture-of-Experts avec des paramètres de couche MTP de 3,8B.
- Il surpasse les modèles de taille similaire et rivalise avec les modèles open-source phares nécessitant 2 à 5 fois plus de paramètres.
- Le modèle en taille complète est disponible en téléchargement de 598 Go, tandis que la version quantifiée FP8 fait 300 Go.
- Tencent a étendu l'entraînement post-traitement avec des données de meilleure qualité suite aux retours de plus de 50 produits.
Cette sortie démontre des gains significatifs en utilité à travers diverses tâches de productivité.