github llama.cpp · hace 17 h · inference

llama.cpp b10883 corrige la multiplicación de matrices Vulkan y restaura las optimizaciones de Ampere

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10883, que incluye actualizaciones significativas en el backend de Vulkan. El cambio principal implica el uso de constantes de especificación para operaciones de multiplicación matriz-matriz tipo A para mejorar la compilación y el rendimiento de los shaders.

Usar constante de especificación para mul mat type_a en shaders de Vulkan.
Consolidar tablas de memoria compartida y reducir el tamaño mediante la constante de especificación del tipo.
Restaurar la optimización coopmat2 q4_k/q5_k y separar el shader para corregir la regresión de Ampere.
Corregir el tipo Q2_0 faltante en la multiplicación de matrices cm2 y adaptar los cambios de ajuste f16 de Intel.
Solución al error del compilador cm2 mediante el uso de un tamaño mínimo de memoria compartida de 8.

Esta versión proporciona binarios actualizados para macOS, Linux, Windows, Android y openEuler en backends de CPU, GPU y hardware especializado.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10888 añade etiquetas de depuración de búfer de comandos para perfiles de GPU

El proyecto llama.cpp ha lanzado la compilación b10888, que incluye una nueva función para agregar etiquetas de depuración de búfer de comandos para perfiles de GPU en el backend de Vulkan.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10886 añade soporte de intrínsecos vectoriales Q1_0 para s390x

El proyecto llama.cpp lanzó la compilación b10886, que introduce el soporte de intrínsecos vectoriales Q1_0 para la arquitectura s390x. Esta actualización incluye la implementación de `ggml_vec_dot_q1_0_q8_0` y actualiza la documentación para reflejar la nueva capacidad.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10870 añade pipelines de multiplicación matricial f16 tipo B y ajuste del tamaño de tile de warp para Intel coopmat1

El proyecto llama.cpp lanzó la versión b10870, introduciendo soporte Vulkan para pipelines de multiplicación matricial f16 tipo B y ajuste del tamaño de tile de warp específicamente para hardware Intel coopmat1.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b10871 añade un shader mat-vec iq4_xs dedicado para Vulkan

El proyecto llama.cpp lanzó la compilación b10871, introduciendo un shader mul_mat_vec_iq4_xs dedicado para la ruta dmmv en Vulkan. Este cambio reemplaza la implementación genérica de respaldo anterior para mejorar el rendimiento en hardware RDNA4.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10863 corrige hilos inactivos en mul_mv_iq3_xxs para Metal con matrices pequeñas

El proyecto llama.cpp lanzó la compilación b10863, que incluye una corrección para hilos inactivos en el kernel `mul_mv_iq3_xxs` en Metal cuando `ne00` es menor que 1024. La actualización aborda un problema de simdgroup medio inactivo introduciendo un kernel dividido separado para dimensiones específicas de matrices.