github llama.cpp · ahora mismo · inference

llama.cpp b10906 corrige la especulación después de una imagen en el servidor

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10906, que incluye una corrección para el componente del servidor respecto a la decodificación especulativa tras entradas de imagen. El cambio asegura que se pase la posición real al redactor en lugar del conteo de tokens, afectando a todos los redactores y no solo a DFlash.

Se renombró el parámetro de borrador `n_past` a `pos0` para reflejar con precisión su papel como indicador de posición en lugar de un conteo de tokens.
Se proporcionaron binarios precompilados para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Esta actualización corrige una inconsistencia en el nombre del parámetro y asegura un manejo adecuado de la posición en la lógica de decodificación especulativa del servidor.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10899 añade optimizaciones de Vulkan para Qwen y soporte split_k

El proyecto llama.cpp lanzó la versión b10899, introduciendo mejoras específicas de rendimiento en su backend de Vulkan. La actualización se centra en optimizar las operaciones matriciales para la familia de modelos Qwen y mejorar el rendimiento general con M pequeño.

github llama.cpp · hace 19 h · 1 vista

llama.cpp b10896 corrige el fallo de decodificación de DFlash con modelos de visión

El proyecto llama.cpp lanzó la compilación b10896, que aborda un problema crítico donde la memoria del redactor fallaba al asignar nuevos tokens al usar DFlash con modelos de visión. Este fallo ocurrió porque las imágenes reportaban un desplazamiento fijo, impidiendo la asignación adecuada de tokens.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp desactiva la carga perezosa de tensores por defecto en GPUs integradas

El proyecto llama.cpp ha desactivado la carga perezosa de tensores por defecto para GPUs integradas (iGPUs) en la versión b10867. Este cambio aborda una regresión introducida en la configuración anterior del modo "AUTO".

github llama.cpp · hace 3 d · 4 vistas

llama.cpp b10864 corrige la evicción de puntos de control para modelos híbridos

El proyecto llama.cpp lanzó la compilación b10864, que incluye una corrección para la lógica de evicción de espacios de los puntos de control en `create_checkpoint()`. Anteriormente, la regla de evicción mantenía el punto de control más antiguo y borraba los posteriores dentro de `checkpoint_min_step`, lo que hacía que los prompts más cortos que ese umbral perdieran el punto de control necesario para la reanudación. Esto obligaba a los modelos híbridos y recurrentes a reprefijar innecesariamente desde el punto de control anterior.

github llama.cpp · hace 4 d · 11 vistas

llama.cpp b10844 añade operaciones fusionadas de hiperconexión Vulkan para DeepSeek-V4

El proyecto llama.cpp lanzó la versión b10844, introduciendo soporte para operaciones fusionadas de hiperconexión DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) en el backend de Vulkan. Esta actualización lleva a Vulkan al mismo nivel que CUDA y Metal en cuanto a estas optimizaciones específicas.