El proyecto llama.cpp lanzó la versión b10594, que incluye una corrección para omitir el bucle device_info cuando el nivel de registro no está configurado en LOG_LEVEL_TRACE. Anteriormente, este bucle iteraba sobre los dispositivos descubiertos para consultar los recuentos de memoria, lo que requería la creación de contextos GPU y resultaba en una asignación de 550 MB de VRAM incluso cuando los datos se descartaban.
- El cambio previene el uso innecesario de recursos GPU verificando el nivel de registro antes de iterar.
- Los binarios están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e iOS.
- El lanzamiento también proporciona binarios de la interfaz de usuario y atestaciones para verificación.
Esta actualización ayuda a los usuarios que no desean utilizar recursos GPU a evitar la sobrecarga de crear contextos y asignar VRAM cuando la información del dispositivo no es necesaria.