github llama.cpp · hace 1 h · inference

llama.cpp b10533 añade una degradación elegante para patrones de expresión regular de esquemas JSON no compatibles

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10533, que incluye una corrección para manejar elegantemente los patrones de expresión regular no compatibles dentro de los esquemas JSON.

El cambio principal en el código permite al sistema degradarse elegantemente al encontrar patrones de expresión regular no compatibles con la implementación subyacente.
Los binarios están disponibles para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x con CPU, Vulkan, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14), Android y openEuler.
El soporte de KleidiAI para macOS Apple Silicon está desactivado en esta versión, al igual que el soporte de Ubuntu x64 ROCm 7.14.
También se incluye un XCFramework para iOS y un paquete de interfaz de usuario independiente en la distribución.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10532 añade desquantización de KV en Metal para Flash Attention

El proyecto llama.cpp lanzó la versión b10532, introduciendo un paso de preprocesamiento en el backend de Metal que desquantiza los cachés de Key-Value (KV) cuantizados a F16 antes de ejecutar Flash Attention.

github llama.cpp · hace 8 h · 2 vistas

llama.cpp b10517 añade optimizaciones de desquantización FA para Vulkan y correcciones

El proyecto llama.cpp lanzó la compilación b10517, introduciendo varias mejoras específicas de Vulkan en la ruta de desquantización de flash attention (FA). Los cambios clave incluyen desquantizar q8_0 KV una vez en coopmat1, omitir la ruta de desquantización FA en coopmat2 y excluir Intel Xe1 de la ruta de desquantización FA.

github llama.cpp · hace 19 h · 1 vista

llama.cpp b10509 añade soporte para ggml_rope_set_offset en Metal, CUDA y Vulkan

El proyecto llama.cpp lanzó la compilación b10509, que introduce soporte para la función `ggml_rope_set_offset` en múltiples backends de hardware. Esta actualización incluye implementaciones de CPU, Metal, CUDA y Vulkan para la nueva operación.

github llama.cpp · hace 7 d · 18 vistas

llama.cpp b10427 fusiona operaciones FFN SYCL para una ganancia de rendimiento de hasta el 12,4 %

El proyecto llama.cpp lanzó la versión b10427, que incluye una optimización de rendimiento para GPUs Intel Arc a través de SYCL. La actualización implementa la fusión de las operaciones gate, up y GLU dentro de la capa de red feed-forward densa (FFN) q4_K.

github llama.cpp · hace 7 d · 23 vistas

llama.cpp b10413 añade la detección automática del tipo de especificación de borrador a partir de los metadatos GGUF

El proyecto llama.cpp lanzó la versión b10413, que introduce la detección automática del tipo de especificación de descodificación especulativa directamente desde los metadatos del modelo GGUF de borrador.