Um pull request foi mesclado no llama.cpp para adicionar suporte ao recém-lançado modelo Hy3, permitindo que os usuários o executem usando formatos GGUF.
- A implementação está disponível no PR #25395 no repositório ggml-org/llama.cpp.
- Testes iniciais indicam saída coerente de modelos quantizados Q2_K rodando a aproximadamente 10-11 tokens por segundo em uma RTX 5090 com arquitetura Zen 4 e 96GB DDR5.
- Checkpoints GGUF para Hy3 estão disponíveis via repositório do Hugging Face mantido por satgeze.
Esta atualização permite que os usuários executem localmente o modelo Hy3 usando a engine de inferência do llama.cpp.