Tencent ha lanzado Hy3, un nuevo modelo de lenguaje grande con licencia Apache 2.0 desarrollado por el equipo Tencent Hy. El modelo cuenta con 295 mil millones de parámetros totales y 21 mil millones de parámetros activos, además de soportar una longitud de contexto de 256K.
- Hy3 utiliza una arquitectura Mixture-of-Experts con parámetros de capa MTP de 3.8B.
- Supera a modelos de tamaño similar y compite con modelos de código abierto insignia que requieren de 2 a 5 veces más parámetros.
- El modelo completo está disponible como descarga de 598GB, mientras que la versión cuantizada en FP8 es de 300GB.
- Tencent escaló el post-entrenamiento con datos de mayor calidad tras recibir comentarios de más de 50 productos.
El lanzamiento demuestra ganancias significativas en utilidad a través de varias tareas de productividad.