github llama.cpp · ahora mismo · inference

llama.cpp b10908 corrige hilos inactivos en núcleos iq mul_mv de Metal

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10908, que incluye una corrección para hilos inactivos en los núcleos iq mul_mv restantes para ne00 < 1024. Este cambio generaliza la lógica de división de filas a seis núcleos específicos: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s e iq3_s.

La corrección aborda casos donde las filas tienen menos de 32 fragmentos, permitiendo que los hilos compartan fragmentos y tomen porciones de las filas.
Desplaza el puntero de fila src0 una vez en los núcleos iq mul_mv ya que q2, dh, sc, qh y signos se derivan de xr.
La implementación combina la división de filas iq mul_mv con offset0 para mantener x y sus punteros derivados en la ruta existente.

Este lanzamiento proporciona binarios para macOS, Linux, Android, Windows y openEuler a través de varias arquitecturas incluyendo CPU, CUDA, ROCm, Vulkan y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10907 corrige la asignación de caché kv de contexto MTP para deepseek2, glm4moe, cohere2moe

El proyecto llama.cpp lanzó la versión b10907, que incluye una corrección para la asignación de caché de clave-valor de contexto de Multi-Token Prediction (MTP). Esta actualización aborda problemas que afectan a las arquitecturas deepseek2, glm4moe y cohere2moe.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10905 ajusta Flash Attention para AMD RDNA4 y revisa la lógica de stream-k

El proyecto llama.cpp lanzó la compilación b10905, que incluye un ajuste específico de Flash Attention para CUDA/HIP en la arquitectura gfx1201. Esta actualización se centra en optimizar el rendimiento para GPUs AMD RDNA4.

github llama.cpp · hace 1 d · 5 vistas

llama.cpp b10888 añade etiquetas de depuración de búfer de comandos para perfiles de GPU

El proyecto llama.cpp ha lanzado la compilación b10888, que incluye una nueva función para agregar etiquetas de depuración de búfer de comandos para perfiles de GPU en el backend de Vulkan.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10886 añade soporte de intrínsecos vectoriales Q1_0 para s390x

El proyecto llama.cpp lanzó la compilación b10886, que introduce el soporte de intrínsecos vectoriales Q1_0 para la arquitectura s390x. Esta actualización incluye la implementación de `ggml_vec_dot_q1_0_q8_0` y actualiza la documentación para reflejar la nueva capacidad.

github llama.cpp · hace 2 d · 2 vistas

llama.cpp b10883 corrige la multiplicación de matrices Vulkan y restaura las optimizaciones de Ampere

El proyecto llama.cpp lanzó la compilación b10883, que incluye actualizaciones significativas en el backend de Vulkan. El cambio principal implica el uso de constantes de especificación para operaciones de multiplicación matriz-matriz tipo A para mejorar la compilación y el rendimiento de los shaders.