Una solicitud de extracción (pull request) enviada al repositorio ggml-org/llama.cpp introduce soporte para el modelo Hy3 de Tencent, específicamente la variante hy_v3. Esta actualización permite utilizar la cabeza de predicción multi-tokeno del modelo como un objetivo especulativo draft-mtp.

  • Añade soporte para Hy3 de Tencent (hy_v3 / HYV3ForCausalLM), un modelo MoE de 299B con 80 capas más una capa MTP.
  • Implementa la cabeza de predicción multi-tokeno para funcionar como objetivo de descodificación especulativa draft-mtp dentro de llama.cpp.