github llama.cpp · ahora mismo · inference

llama.cpp b10777 reduce el trabajo redundante en Q4_K multi-column MMVQ

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10777, que incluye optimizaciones al backend SYCL para multiplicación matriz-vector (MMVQ) de múltiples columnas con Q4_K. La actualización se centra en reducir el trabajo computacional redundante mediante estrategias de desempaquetado de pesos y reutilización de activaciones.

Optimiza el desempaquetado de pesos Q4_K y reutiliza datos entre columnas destino.
Implementa la reutilización de subgrupos de activaciones para valores pequeños de N (N=2..4) en dos filas de salida.
Limita el patrón de reutilización de dos filas específicamente para N=2 para mejorar la eficiencia.
Actualiza el umbral del número mágico a Q4_K_MMVQ_ROW_PAIR_MIN_NROWS=6272 y añade pruebas de rendimiento para cobertura MUL_MAT con Q4_K.

Esta versión proporciona binarios precompilados para macOS, Linux, Android, Windows y openEuler en varios backends de hardware, incluyendo CPU, CUDA, ROCm, Vulkan, OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10766 añade soporte de visión para DeepSeek 4

El proyecto llama.cpp ha lanzado la compilación b10766, que incluye una corrección para soportar correctamente la entrada visual del modelo DeepSeek 4.

github llama.cpp · hace 14 h · 4 vistas

llama.cpp b10762 añade soporte para DeepSeek-V4-Flash-Vision-Exp

El proyecto llama.cpp ha lanzado la compilación b10762, que introduce soporte para el modelo DeepSeek-V4-Flash-Vision-Exp. Esta actualización también incluye el manejo de conteos mínimos y máximos de tokens desde la interfaz de línea de comandos.

github llama.cpp · hace 22 h · 1 vista

llama.cpp b10758 añade fusión de MUL_MAT y MUL_MAT_ID para Hexagon

El proyecto llama.cpp lanzó la compilación b10758, introduciendo capacidades de fusión de MUL_MAT y MUL_MAT_ID para el DSP Hexagon. Esta actualización también incluye varias correcciones para mejorar la estabilidad y el rendimiento en hardware Qualcomm.

github llama.cpp · hace 22 h · 3 vistas

llama.cpp b10759 evita la inicialización del tipo de búfer de KleidiAI en el envío

El proyecto llama.cpp lanzó la compilación b10759, que incluye una corrección para evitar la inicialización del tipo de búfer de KleidiAI durante el envío.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10756 restringe la solicitud de extensión shader_bfloat16 de Vulkan

El proyecto llama.cpp lanzó la compilación b10756, que modifica el comportamiento del backend de Vulkan para solicitar únicamente la extensión VK_KHR_shader_bfloat16 cuando es soportada por el hardware.