Un usuario ejecutó con éxito el modelo MoE de Tencent HY3 (295B-A21B) en un MacBook M5 Max con 128GB de memoria unificada utilizando una checkpoint GGUF cuantizada y llama.cpp. La configuración logró velocidades de generación de tokens aproximadamente el doble que las de DeepSeek v4 Flash mientras mantenía una calidad de salida comparable o mejor.

  • El modelo utiliza cuantización "unsloth dynamic" UD128 de 3 bits (107GB) del usuario de Hugging Face YanissAmz.
  • Se añadió soporte para la arquitectura de HY3 y la decodificación especulativa a llama.cpp mediante el PR #25395.
  • Las pruebas en el M5 Max mostraron una velocidad de decodificación de 32,4 tokens/seg con contexto vacío y 16,3 tokens/seg con contexto de 16K.
  • El usuario señaló que el rendimiento práctico en prompts normales y uso básico de herramientas fue superior a su configuración anterior de DeepSeek v4.

El autor destaca a HY3 como una gran opción MoE prometedora para implementación local en hardware de consumo con alta memoria, animando a otros a probarlo.