Les modèles Bonsai-27B et Ternary-Bonsai-27B voient leur intégration dans le dépôt principal de llama.cpp s'intensifier, avec un support binaire Q1_0 désormais disponible nativement sur les backends CPU, Metal, CUDA et Vulkan. Le support ternaire est actuellement en phase de transition ; les backends CPU et Metal sont fusionnés, tandis que les implémentations CUDA et Vulkan restent en cours de révision ou en attente.
- Le format binaire Q1_0 est entièrement pris en charge dans llama.cpp en amont ; le support MLX reste en attente via une demande de tirage distincte.
- Trois variantes GGUF ternaires existent : la Q2_0 group-128 du démo (uniquement pour les forks), la Q2_0 group-64 officielle (CPU/Metal en amont) et le format PQ2_0 prévu.
- Bonsai-27B conserve 89,5 % de la qualité pleine précision, tandis que Ternary-Bonsai-27B en conserve 94,6 %, tous deux notant que le codage agentique n'est pas encore une priorité.
- L'emprise d'environ 7,2 Go du modèle ternaire dépasse les budgets mémoire iOS, nécessitant la variante MLX 1-bit pour le déploiement mobile.
Ces mises à jour clarifient le paysage de compatibilité actuel pour les utilisateurs exécutant ces modèles de compression extrême sur divers backends matériels.