A equipe Tencent Hy disponibilizou como código aberto o Hy4 preview, um novo modelo flagship Mixture-of-Experts de nova geração que compreende 770B de parâmetros totais, com 49B ativados por token. A arquitetura possui 78 camadas, onde a primeira utiliza uma FFN densa e as restantes 77 usam MoE com 256 especialistas roteados, além de uma camada MTP nativa para decodificação especulativa.
- O Hy4 preview foi treinado em dados de engenheiros de software da Tencent, desenvolvedores de jogos e analistas financeiros para melhorar tarefas de produtividade.
- Em avaliações cegas lado a lado em 203 tarefas de engenharia por 163 especialistas internos, o Hy4 preview obteve pontuação de 2.99, ligeiramente à frente do GLM 5.3 (2.92) e do Kimi K3 (2.94).
- O modelo suporta implantação via vLLM ou SGLang com MTP habilitado, e inclui um toolkit AngelSlim para compressão.
O lançamento visa empurrar os limites da inteligência dos modelos enquanto os torna mais abundantes e acessíveis por meio de iteração precoce baseada em feedback dos usuários.