Model Bonsai-27B dan Ternary-Bonsai-27B mengalami peningkatan integrasi ke dalam repositori utama llama.cpp, dengan dukungan biner Q1_0 kini tersedia secara bawaan di seluruh backend CPU, Metal, CUDA, dan Vulkan. Dukungan ternari saat ini berada dalam fase transisi, dengan backend CPU dan Metal telah digabungkan sementara implementasi CUDA dan Vulkan masih dalam tinjauan atau tertunda.
- Format biner Q1_0 sepenuhnya didukung di llama.cpp upstream; dukungan MLX masih tertunda melalui permintaan tarik terpisah.
- Terdapat tiga varian GGUF ternari: Q2_0 group-128 demo (hanya untuk fork), Q2_0 group-64 resmi (CPU/Metal mainline), dan format PQ2_0 yang direncanakan.
- Bonsai-27B mempertahankan 89,5% kualitas presisi penuh, sementara Ternary-Bonsai-27B mempertahankan 94,6%, dengan catatan bahwa coding agentic belum menjadi fokus utama.
- Jejak kaki model ternari sekitar 7,2 GB melebihi anggaran memori iOS, memerlukan varian MLX 1-bit untuk penyebaran seluler.
Pembaruan ini memperjelas lanskap kompatibilitas saat ini bagi pengguna yang menjalankan model kompresi ekstrem ini di berbagai backend perangkat keras.