Os modelos Bonsai-27B e Ternary-Bonsai-27B estão recebendo maior integração no repositório principal do llama.cpp, com suporte binário Q1_0 agora disponível nativamente nos backends CPU, Metal, CUDA e Vulkan. O suporte ternário está atualmente em uma fase de transição, com os backends CPU e Metal fundidos, enquanto as implementações para CUDA e Vulkan permanecem em revisão ou pendentes.
- O formato binário Q1_0 é totalmente suportado no llama.cpp upstream; o suporte MLX permanece pendente via um pull request separado.
- Existem três variantes GGUF ternárias: a demo group-128 Q2_0 (apenas fork), a oficial group-64 Q2_0 (CPU/Metal mainline) e o formato PQ2_0 planejado.
- Bonsai-27B retém 89,5% da qualidade de precisão completa, enquanto Ternary-Bonsai-27B retém 94,6%, com ambos notando que a programação agéntica ainda não é um foco principal.
- A pegada de ~7,2 GB do modelo ternário excede os orçamentos de memória do iOS, exigindo a variante MLX de 1 bit para implantação móvel.
Essas atualizações esclarecem o cenário atual de compatibilidade para usuários executando esses modelos de compressão extrema em vários backends de hardware.