github llama.cpp · ahora mismo · inference

llama.cpp b10930 permite descargas de modelos al límite del modelo

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10930, que incluye una corrección para el componente del servidor que permite descargar modelos incluso cuando el usuario ha alcanzado su límite de modelos.

Resuelve el problema #26809 habilitando descargas en el límite (PR #28530).
Proporciona binarios para macOS Apple Silicon e Intel, iOS, Ubuntu x64/arm64/s390x, Android arm64, Windows x64/arm64 y openEuler.
Soporta varios backends de hardware incluyendo CPU, Vulkan, ROCm 10.0, OpenVINO, SYCL FP32/FP16, CUDA 12/13 y OpenCL Adreno.

Esta actualización asegura la funcionalidad continua para usuarios que alcanzan las cuotas de almacenamiento mientras proporciona un amplio soporte de plataforma.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

la versión b10926 de llama.cpp maneja con gracia las cuantizaciones tq1_0 no compatibles

El proyecto llama.cpp ha lanzado la versión b10926, que incluye una corrección para manejar las cuantizaciones tq1_0 no compatibles fallando de forma elegante. Esta actualización aborda el problema #28681 para mejorar la estabilidad al encontrar este formato de cuantización específico.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10921 alinea las vinculaciones de tensores WebGPU al tamaño del bloque

El proyecto llama.cpp ha lanzado la compilación b10921, que incluye una corrección para WebGPU alineando las vinculaciones de tensores al tamaño del bloque de tipo. Este cambio asegura que las vistas cuantizadas por bloque reciban un desplazamiento de elemento válido en el shader recorriendo hacia atrás el desplazamiento de vinculación hasta que la distancia al tensor sea un número entero de bloques.

github llama.cpp · hace 1 d · 1 vista

llama.cpp b10906 corrige la especulación después de una imagen en el servidor

El proyecto llama.cpp lanzó la versión b10906, que incluye una corrección para el componente del servidor respecto a la decodificación especulativa tras entradas de imagen. El cambio asegura que se pase la posición real al redactor en lugar del conteo de tokens, afectando a todos los redactores y no solo a DFlash.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10899 añade optimizaciones de Vulkan para Qwen y soporte split_k

El proyecto llama.cpp lanzó la versión b10899, introduciendo mejoras específicas de rendimiento en su backend de Vulkan. La actualización se centra en optimizar las operaciones matriciales para la familia de modelos Qwen y mejorar el rendimiento general con M pequeño.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10896 corrige el fallo de decodificación de DFlash con modelos de visión

El proyecto llama.cpp lanzó la compilación b10896, que aborda un problema crítico donde la memoria del redactor fallaba al asignar nuevos tokens al usar DFlash con modelos de visión. Este fallo ocurrió porque las imágenes reportaban un desplazamiento fijo, impidiendo la asignación adecuada de tokens.