O projeto llama.cpp adicionou suporte à arquitetura do modelo Tencent Hunyuan 3 (HYV3ForCausalLM), designada como hy_v3 no formato GGUF. Esta atualização permite aos usuários executar esta pilha de decodificador MoE específica dentro da biblioteca.

  • Adiciona suporte completo à arquitetura hy_v3, incluindo per-head Q/K RMSNorm e um roteador sigmoide com viés de seleção de especialista.
  • Implementa um especialista compartilhado sempre ativo sem porta e blocos densos principais via first_k_dense_replace.
  • Portado do fork de charlie12345 e adaptado às APIs atuais da linha principal para compatibilidade com GGUFs hy_v3 existentes.

Esta alteração permite que a comunidade utilize modelos Tencent Hunyuan 3 em várias plataformas, incluindo macOS, Linux, Windows e Android, em diversos backends de hardware como CUDA, ROCm e Vulkan.