Los modelos Bonsai-27B y Ternary-Bonsai-27B están viendo una mayor integración en el repositorio principal de llama.cpp, con soporte binario Q1_0 ahora disponible de forma predeterminada en los backends CPU, Metal, CUDA y Vulkan. El soporte ternario está actualmente en una fase transicional, con los backends CPU y Metal fusionados mientras que las implementaciones de CUDA y Vulkan permanecen en revisión o pendientes.
- El formato binario Q1_0 es totalmente compatible con llama.cpp upstream; el soporte MLX permanece pendiente a través de un pull request separado.
- Existen tres variantes GGUF ternarias: la demo group-128 Q2_0 (solo fork), la oficial group-64 Q2_0 (CPU/Metal mainline) y el formato PQ2_0 planificado.
- Bonsai-27B retiene el 89,5% de la calidad de precisión completa, mientras que Ternary-Bonsai-27B retiene el 94,6%, con ambos notando que la programación agéntica aún no es un enfoque principal.
- La huella de ~7,2 GB del modelo ternario excede los presupuestos de memoria de iOS, requiriendo la variante MLX de 1 bit para implementación móvil.
Estas actualizaciones aclaran el panorama actual de compatibilidad para usuarios que ejecutan estos modelos de compresión extrema en varios backends de hardware.