Um pull request submetido ao repositório ggml-org/llama.cpp introduz suporte para o modelo Hy3 da Tencent, especificamente a variante hy_v3. Esta atualização permite o uso da cabeça de previsão multi-tokeno do modelo como um alvo especulativo draft-mtp.
- Adiciona suporte para o Hy3 da Tencent (hy_v3 / HYV3ForCausalLM), um modelo MoE de 299B com 80 camadas mais uma camada MTP.
- Implementa a cabeça de previsão multi-tokeno para funcionar como alvo de decodificação especulativa draft-mtp dentro do llama.cpp.