llama.cpp ha lanzado la versión b9721, ofreciendo binarios para macOS, Linux, Android, Windows y openEuler en varias arquitecturas. La versión incluye soporte para CPU, Vulkan, ROCm, OpenVINO, SYCL e HIP, junto con un paquete de interfaz de usuario dedicado. Una función para Apple Silicon con KleidiAI está actualmente desactivada.
ggml-cpu ahora admite colas K en la multiplicación matricial MMA Q8/Q4 de Power10, eliminando el requisito de que K sea divisible por kc. Esto permite que más cargas de trabajo utilicen el núcleo MMA y reduce la dependencia de mnpack.
La versión v0.17.6 añade guardrails de entrada para herramientas preaprobadas y datos personalizados solo para SDK en las salidas de herramientas. También aplica un contrato estricto compatible con JSON para las salidas de herramientas y suprime las advertencias innecesarias sobre espacios en blanco en los nombres de las herramientas. @siddiksawani realizó su primera contribución en esta versión.
La versión b9716 de llama.cpp introduce soporte para procesamiento por lotes (batching) en InternVL, mejorando el rendimiento del modelo mediante un procesamiento eficiente por lotes. La versión incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, OpenVINO, SYCL y ROCm.
llama.cpp ha lanzado la versión b9713, añadiendo soporte de agrupamiento a mtmd-cli y pruebas de video. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
llama.cpp versión b9714 añade el encabezado "X-Accel-Buffering": "no" a los puntos de conexión de transmisión para evitar que Nginx almacene en búfer las respuestas, lo que resuelve problemas de transmisión con aplicaciones como el entorno de codificación Pi. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.
La versión b9715 de LLaMA.cpp introduce soporte para CUDA en GGML_OP_COL2IM_1D, basándose en una implementación para CPU. La versión incluye binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y marcos de aceleración, incluyendo Vulkan, ROCm, OpenVINO y SYCL.
llama.cpp lanza la versión b9711 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La liberación incluye soporte para ARM64, x64, Vulkan, ROCm, OpenVINO, SYCL e HIP, con binarios dedicados para aceleración de CPU y GPU. También está disponible un nuevo paquete de interfaz de usuario.
La versión b9712 de llama.cpp incluye una corrección para problemas de compilación de la UI causados por archivos de código fuente de solo lectura. El lanzamiento proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9707 de llama.cpp introduce validación de esquemas y mejoras en los mensajes de error. Incluye compilaciones binarias para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware.
La versión b9703 de llama.cpp incluye una reestructuración del manejo de presets del servidor, eliminando el soporte para presets remotos de HF y funciones obsoletas. El lanzamiento proporciona binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9704 de llama.cpp ahora devuelve HTTP 400 para gramática inválida en lugar de descartar silenciosamente las restricciones. El lanzamiento incluye binarios para macOS, Linux, Android, Windows y openEuler a través de múltiples arquitecturas y aceleradores de hardware, con soporte para Vulkan, ROCm, OpenVINO, SYCL y CUDA.
La versión b9702 de llama.cpp incluye una corrección para que los argumentos del router no se reenvíen a las instancias secundarias. El lanzamiento proporciona binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, ROCm, OpenVINO y SYCL.
La versión b9701 de llama.cpp introduce un preprocesor refactorizado con una nueva característica mtmd_image_preproc_out y documentación actualizada para desarrolladores. La liberación incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9700 de llama.cpp introduce soporte SYCL actualizado con banderas de API renombradas: GGML_SYCL_SUPPORT_LEVEL_ZERO se ha renombrado a GGML_SYCL_SUPPORT_LEVEL_ZERO_API y GGML_SYCL_ENABLE_LEVEL_ZERO se ha renombrado a GGML_SYCL_USE_LEVEL_ZERO_API. La versión incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración por hardware, incluyendo Vulkan, ROCm, OpenVINO y SYCL.
La versión b9698 de LLaMA.cpp habilita las actualizaciones automáticas únicamente cuando se compila con llama-install.sh. La versión incluye binarios para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y opciones de aceleración de hardware, incluyendo Vulkan, CUDA, OpenVINO y SYCL.
La versión b9699 de llama.cpp introduce soporte para las operaciones MUL_MAT y OUT_PROD con precisión Q1_0 a través del PR #24721. El lanzamiento incluye binarios precompilados para macOS, Linux, Android, Windows y openEuler en múltiples arquitecturas y marcos de aceleración, incluyendo SYCL (FP32 y FP16), Vulkan, CUDA, ROCm y OpenVINO.
LLaMA.cpp publica la versión b9697 con binarios actualizados para macOS, Linux, Android, Windows y openEuler. La publicación incluye soporte para ARM64, x64, Vulkan, CUDA 12 y 13, OpenVINO, SYCL y ROCm, junto con la corrección de un problema de análisis de mensajes en las comprobaciones de lanzamiento.
La versión b9693 de llama.cpp introduce soporte para BF16 en su kernel de concatenación y proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler. La versión incluye variantes para CPU, Vulkan, ROCm, OpenVINO, SYCL e HIP en múltiples arquitecturas, con un paquete de interfaz de usuario dedicado disponible.
llama.cpp ha lanzado la versión b9694, que incluye binarios para macOS, Linux, Android, Windows y openEuler. La versión es compatible con varias arquitecturas y opciones de aceleración como CUDA, Vulkan, OpenVINO, SYCL y ROCm. También se implementó una corrección para el enlace de la versión de OpenVINO en Windows x64.