github llama.cpp · hace 5 h · inference

llama.cpp b10715 fusiona el codificador DFlash en la inyección de caché KV

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10715, que incluye una optimización clave en la implementación de DFlash. El codificador DFlash ahora se fusiona directamente en el proceso de inyección del caché KV durante la decodificación.

Anteriormente, ejecutar el codificador como una llamada separada `llama_encode` forzaba un viaje de ida y vuelta del dispositivo al host para su salida antes de que la decodificación de inyección pudiera volver a cargarlo, junto con una segunda construcción de gráfico por ciclo. Este cambio integra el codificador en la rama de incrustaciones del decodificador, permitiendo que las características objetivo se alimenten directamente a una única llamada `llama_decode`.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10721 corrige el fallo de WebGPU y añade soporte para CUDA 13.4 en Windows

El proyecto llama.cpp ha lanzado la compilación b10721, que incluye una corrección crítica para el backend de WebGPU y amplía el soporte de hardware en Windows.

github llama.cpp · hace 2 h

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 6 h · 1 vista

llama.cpp b10714 ajusta las filas de mat-vec de Vulkan para Strix Halo

El proyecto llama.cpp lanzó la compilación b10714, que incluye optimizaciones específicas para el backend de Vulkan dirigido al hardware AMD Strix Halo. La actualización ajusta los conteos de filas de multiplicación de matriz por vector para mejorar el rendimiento durante la inferencia en lotes.

github llama.cpp · hace 12 h · 3 vistas

llama.cpp b10706 añade soporte para SWIGLU_CLAMP y shaders de Vulkan

El proyecto llama.cpp ha lanzado la compilación b10706, introduciendo nueva funcionalidad en el backend ggml. Esta actualización incluye la adición de SWIGLU_CLAMP y una nueva implementación del shader de Vulkan.

github llama.cpp · hace 13 h · 9 vistas

llama.cpp b10707 optimiza el escaneo de celdas del caché KV para una generación más rápida

El proyecto llama.cpp lanzó la versión b10707, que incluye una optimización de rendimiento en el manejo del caché de clave-valor (KV). La actualización modifica la función `for_each_token_in` para detener el escaneo una vez que se han visto todas las secuencias dentro de una celda específica, en lugar de iterar por todas las secuencias máximas posibles.