El proyecto llama.cpp lanzó la versión b9927, que incluye una actualización significativa de la interfaz de línea de comandos al moverla a una implementación basada en HTTP. Este cambio introduce soporte para el modo router dentro de la CLI.
- La CLI ahora utiliza un backend basado en HTTP en lugar de los métodos anteriores.
- El modo router es compatible con la nueva implementación de la CLI.
- Los alias de modelos ahora se muestran en la interfaz.
- Binarios precompilados están disponibles para macOS (Apple Silicon e Intel), Linux, Android, Windows y openEuler.
- Las opciones de aceleración GPU incluyen CUDA 12/13, Vulkan, ROCm, OpenCL, SYCL y OpenVINO en las plataformas compatibles.
Este lanzamiento proporciona binarios actualizados para varios sistemas operativos y configuraciones de hardware, junto con el cambio arquitectónico en la herramienta CLI.