L'équipe Tencent Hy a open-sourcé Hy4 preview, un nouveau modèle phare Mixture-of-Experts de nouvelle génération comprenant 770B de paramètres au total avec 49B activés par token. L'architecture comporte 78 couches où la première utilise un FFN dense et les 77 restantes utilisent MoE avec 256 experts routés, ainsi qu'une couche MTP native pour le décodage spéculatif.

  • Hy4 preview est entraîné sur des données d'ingénieurs logiciels Tencent, de développeurs de jeux et d'analystes financiers pour améliorer les tâches de productivité.
  • Dans des évaluations en aveugle côte à côte sur 203 tâches d'ingénierie par 163 experts internes, Hy4 preview a obtenu un score de 2.99, légèrement devant GLM 5.3 (2.92) et Kimi K3 (2.94).
  • Le modèle prend en charge le déploiement via vLLM ou SGLang avec MTP activé, et inclut une boîte à outils AngelSlim pour la compression.

La publication vise à repousser les limites de l'intelligence des modèles tout en les rendant plus abondants et abordables grâce à une itération précoce basée sur les retours des utilisateurs.