Tencent lança Hy3, um modelo MoE de 295B parâmetros

A Tencent lançou o Hy3, um novo modelo de linguagem grande licenciado sob Apache 2.0, desenvolvido pela equipe Tencent Hy. O modelo possui 295 bilhões de parâmetros totais com 21 bilhões de parâmetros ativos e suporta um comprimento de contexto de 256K.

• O Hy3 utiliza uma arquitetura Mixture-of-Experts com parâmetros de camada MTP de 3.8B.
• Ele supera modelos de tamanho semelhante e rivaliza com modelos open-source de ponta que exigem de 2 a 5 vezes mais parâmetros.
• O modelo completo está disponível como download de 598GB, enquanto uma versão quantizada em FP8 tem 300GB.
• A Tencent escalou o pós-treinamento com dados de maior qualidade após feedback de mais de 50 produtos.

O lançamento demonstra ganhos significativos em utilidade em várias tarefas de produtividade.