github llama.cpp · hace 1 h · inference

la versión b10926 de llama.cpp maneja con gracia las cuantizaciones tq1_0 no compatibles

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10926, que incluye una corrección para manejar las cuantizaciones tq1_0 no compatibles fallando de forma elegante. Esta actualización aborda el problema #28681 para mejorar la estabilidad al encontrar este formato de cuantización específico.

La versión proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu con backends de CPU, Vulkan, ROCm 10.0, OpenVINO y SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm 10.0) y arquitecturas openEuler.

Esta actualización asegura que los usuarios puedan seguir utilizando llama.cpp sin interrupciones cuando los modelos utilicen el esquema de cuantización tq1_0.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10921 alinea las vinculaciones de tensores WebGPU al tamaño del bloque

El proyecto llama.cpp ha lanzado la compilación b10921, que incluye una corrección para WebGPU alineando las vinculaciones de tensores al tamaño del bloque de tipo. Este cambio asegura que las vistas cuantizadas por bloque reciban un desplazamiento de elemento válido en el shader recorriendo hacia atrás el desplazamiento de vinculación hasta que la distancia al tensor sea un número entero de bloques.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10906 corrige la especulación después de una imagen en el servidor

El proyecto llama.cpp lanzó la versión b10906, que incluye una corrección para el componente del servidor respecto a la decodificación especulativa tras entradas de imagen. El cambio asegura que se pase la posición real al redactor en lugar del conteo de tokens, afectando a todos los redactores y no solo a DFlash.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10899 añade optimizaciones de Vulkan para Qwen y soporte split_k

El proyecto llama.cpp lanzó la versión b10899, introduciendo mejoras específicas de rendimiento en su backend de Vulkan. La actualización se centra en optimizar las operaciones matriciales para la familia de modelos Qwen y mejorar el rendimiento general con M pequeño.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10896 corrige el fallo de decodificación de DFlash con modelos de visión

El proyecto llama.cpp lanzó la compilación b10896, que aborda un problema crítico donde la memoria del redactor fallaba al asignar nuevos tokens al usar DFlash con modelos de visión. Este fallo ocurrió porque las imágenes reportaban un desplazamiento fijo, impidiendo la asignación adecuada de tokens.

github llama.cpp · hace 4 d · 2 vistas

llama.cpp desactiva la carga perezosa de tensores por defecto en GPUs integradas

El proyecto llama.cpp ha desactivado la carga perezosa de tensores por defecto para GPUs integradas (iGPUs) en la versión b10867. Este cambio aborda una regresión introducida en la configuración anterior del modo "AUTO".