El proyecto ggml ha añadido soporte de cuantización Q2_0 para CPUs, específicamente para habilitar el uso de modelos Ternary Bonsai. Esta actualización completa la familia de cuantización Q1_0, Q2_0, Q4_0 y Q8_0 dentro de la biblioteca.
- La implementación soporta ARM NEON e incluye una solución de respaldo escalar genérica.
- Permite ejecutar modelos Ternary Bonsai de 1.7B, 4B y 8B en hardware CPU.
- Los backends x86, Metal, CUDA y Vulkan están planeados para su futura presentación.
Esta adición permite a los usuarios ejecutar modelos Ternary Bonsai utilizando el nuevo formato Q2_0 soportado en CPUs compatibles.