Um usuário executou com sucesso o modelo MoE da Tencent HY3 (295B-A21B) em um MacBook M5 Max com 128GB de memória unificada usando uma checkpoint GGUF quantizada e llama.cpp. A configuração alcançou velocidades de geração de tokens aproximadamente o dobro das do DeepSeek v4 Flash, mantendo qualidade de saída comparável ou melhor.

  • O modelo utiliza quantização "unsloth dynamic" UD128 de 3 bits (107GB) do usuário do Hugging Face YanissAmz.
  • Suporte para a arquitetura do HY3 e decodificação especulativa foi adicionado ao llama.cpp via PR #25395.
  • Os benchmarks no M5 Max mostraram velocidade de decodificação de 32,4 tok/s com contexto vazio e 16,3 tok/s com contexto de 16K.
  • O usuário observou que o desempenho prático em prompts normais e uso básico de ferramentas foi superior à sua configuração anterior do DeepSeek v4.

O autor destaca o HY3 como uma grande opção MoE promissora para implantação local em hardware de consumo com alta memória, incentivando outros a testá-lo.