github llama.cpp · ahora mismo · inference

llama.cpp b10921 alinea las vinculaciones de tensores WebGPU al tamaño del bloque

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10921, que incluye una corrección para WebGPU alineando las vinculaciones de tensores al tamaño del bloque de tipo. Este cambio asegura que las vistas cuantizadas por bloque reciban un desplazamiento de elemento válido en el shader recorriendo hacia atrás el desplazamiento de vinculación hasta que la distancia al tensor sea un número entero de bloques.

El lanzamiento proporciona binarios y frameworks para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu con backends de CPU, Vulkan, ROCm, OpenVINO y SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL y ROCm) y openEuler.

Esta actualización asegura el manejo correcto de tensores en los shaders de WebGPU mientras mantiene la compatibilidad con una amplia gama de arquitecturas de hardware e implementaciones de backend.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10906 corrige la especulación después de una imagen en el servidor

El proyecto llama.cpp lanzó la versión b10906, que incluye una corrección para el componente del servidor respecto a la decodificación especulativa tras entradas de imagen. El cambio asegura que se pase la posición real al redactor en lugar del conteo de tokens, afectando a todos los redactores y no solo a DFlash.

github llama.cpp · hace 2 d · 3 vistas

llama.cpp b10899 añade optimizaciones de Vulkan para Qwen y soporte split_k

El proyecto llama.cpp lanzó la versión b10899, introduciendo mejoras específicas de rendimiento en su backend de Vulkan. La actualización se centra en optimizar las operaciones matriciales para la familia de modelos Qwen y mejorar el rendimiento general con M pequeño.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b10896 corrige el fallo de decodificación de DFlash con modelos de visión

El proyecto llama.cpp lanzó la compilación b10896, que aborda un problema crítico donde la memoria del redactor fallaba al asignar nuevos tokens al usar DFlash con modelos de visión. Este fallo ocurrió porque las imágenes reportaban un desplazamiento fijo, impidiendo la asignación adecuada de tokens.

github llama.cpp · hace 4 d · 2 vistas

llama.cpp desactiva la carga perezosa de tensores por defecto en GPUs integradas

El proyecto llama.cpp ha desactivado la carga perezosa de tensores por defecto para GPUs integradas (iGPUs) en la versión b10867. Este cambio aborda una regresión introducida en la configuración anterior del modo "AUTO".

github llama.cpp · hace 4 d · 5 vistas

llama.cpp b10864 corrige la evicción de puntos de control para modelos híbridos

El proyecto llama.cpp lanzó la compilación b10864, que incluye una corrección para la lógica de evicción de espacios de los puntos de control en `create_checkpoint()`. Anteriormente, la regla de evicción mantenía el punto de control más antiguo y borraba los posteriores dentro de `checkpoint_min_step`, lo que hacía que los prompts más cortos que ese umbral perdieran el punto de control necesario para la reanudación. Esto obligaba a los modelos híbridos y recurrentes a reprefijar innecesariamente desde el punto de control anterior.