El equipo Tencent Hy ha liberado como código abierto Hy4 preview, un nuevo modelo insignia de Mezcla de Expertos (Mixture-of-Experts) de nueva generación que comprende 770B de parámetros totales con 49B activados por token. La arquitectura cuenta con 78 capas donde la primera utiliza una FFN densa y las restantes 77 usan MoE con 256 expertos enrutados, junto con una capa nativa MTP para descodificación especulativa.
- Hy4 preview se ha entrenado con datos de ingenieros de software de Tencent, desarrolladores de videojuegos y analistas financieros para mejorar las tareas de productividad.
- En evaluaciones ciegas lado a lado sobre 203 tareas de ingeniería realizadas por 163 expertos internos, Hy4 preview obtuvo una puntuación de 2.99, ligeramente por delante de GLM 5.3 (2.92) y Kimi K3 (2.94).
- El modelo admite el despliegue mediante vLLM o SGLang con MTP habilitado, e incluye un toolkit AngelSlim para compresión.
El lanzamiento tiene como objetivo empujar los límites de la inteligencia del modelo mientras lo hace más abundante y asequible mediante iteraciones tempranas basadas en la retroalimentación de los usuarios.