github llama.cpp · hace 9 h · inference

llama.cpp b10758 añade fusión de MUL_MAT y MUL_MAT_ID para Hexagon

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10758, introduciendo capacidades de fusión de MUL_MAT y MUL_MAT_ID para el DSP Hexagon. Esta actualización también incluye varias correcciones para mejorar la estabilidad y el rendimiento en hardware Qualcomm.

Fusiona las multiplicaciones de matrices QKV y FFN que llegan a HMX.
Elimina la restricción codificada ne[1] < 32K.
Corrige el tamaño de sobrecarga para evitar exceder el presupuesto vtcm para dimensiones grandes.
Fusiona MUL_MAT_ID en variantes MUL_MAT_ID_NX cuando sea posible.
Actualiza los tamaños de opbatch y opqueue para reducir la sobrecarga de asignación del búfer de trazado.
Añide desfragmentación del espacio de direcciones virtuales para evitar abortos por fragmentación.

Estos cambios optimizan el uso de memoria y la eficiencia de ejecución en dispositivos basados en Hexagon.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10766 añade soporte de visión para DeepSeek 4

El proyecto llama.cpp ha lanzado la compilación b10766, que incluye una corrección para soportar correctamente la entrada visual del modelo DeepSeek 4.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b10762 añade soporte para DeepSeek-V4-Flash-Vision-Exp

El proyecto llama.cpp ha lanzado la compilación b10762, que introduce soporte para el modelo DeepSeek-V4-Flash-Vision-Exp. Esta actualización también incluye el manejo de conteos mínimos y máximos de tokens desde la interfaz de línea de comandos.

github llama.cpp · hace 9 h · 3 vistas

llama.cpp b10759 evita la inicialización del tipo de búfer de KleidiAI en el envío

El proyecto llama.cpp lanzó la compilación b10759, que incluye una corrección para evitar la inicialización del tipo de búfer de KleidiAI durante el envío.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10756 restringe la solicitud de extensión shader_bfloat16 de Vulkan

El proyecto llama.cpp lanzó la compilación b10756, que modifica el comportamiento del backend de Vulkan para solicitar únicamente la extensión VK_KHR_shader_bfloat16 cuando es soportada por el hardware.

github llama.cpp · hace 11 h · 1 vista

llama.cpp b10757 mejora el rendimiento de mat-vec IQ3_S para Vulkan en tamaños de lote más grandes

El proyecto llama.cpp lanzó la compilación b10757, que incluye una optimización específica para el backend de Vulkan. Esta actualización maneja de manera eficiente tamaños de lote mayores a 4 para la multiplicación matriz-vector IQ3_S cuando NUM_COLS es mayor que 4.