github llama.cpp · ahora mismo · inference

llama.cpp b10666 vincula la caché KV f16 in situ para la ruta SDPA de oneDNN

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10669, que incluye una optimización de rendimiento para la ruta SDPA de oneDNN vinculando la caché KV f16 in situ.

El cambio reduce el tráfico de memoria durante los fragmentos de prellenado; por ejemplo, en Qwen3.8 27B con una longitud KV activa de 34816, reduce el tráfico por ubatch de 4.56 GB a menos evitando copias escalonadas.
Los binarios están disponibles para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) y openEuler.

Esta actualización proporciona a los usuarios un rendimiento de inferencia optimizado en hardware compatible mientras mantiene una amplia compatibilidad con plataformas.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10666 corrige las pruebas de guardado/carga de estado y la copia de secuencias en el dispositivo

La versión b10666 de llama.cpp amplía el conjunto de pruebas de guardado/carga de estado para ejecutarse en todas las arquitecturas y resuelve varios errores críticos en la gestión del estado y el manejo del grafo. Los cambios clave incluyen corregir referencias colgantes en minimax-01, alinear la copia de fragmentos para secuencias en el dispositivo y corregir los conteos de cabezales del indexador para deepseek4.

github llama.cpp · hace 16 h · 1 vista

llama.cpp b10662 añade ctx-per-slot para caché KV unificado

El proyecto llama.cpp lanzó la compilación b10662, introduciendo un nuevo argumento `--kv-unified-per-slot` que permite a los usuarios especificar el contexto por ranura para el caché KV unificado. Este cambio reemplaza el mecanismo anterior de fracción de contexto con ranuras de pool de contexto y refactoriza la implementación subyacente.

github llama.cpp · hace 17 h · 7 vistas

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 17 h · 16 vistas

llama.cpp b10658 añade soporte para DFlash2 y corrige un error en mrope

El proyecto llama.cpp lanzó la compilación b10658, introduciendo soporte para la especificación DFlash2 que incluye convolución local y un selector de candidatos. Esta actualización también aborda un error específico de mrope dentro del código fuente.

github llama.cpp · hace 18 h · 1 vista

llama.cpp incluye DLLs de HIP runtime en la versión ROCm para Windows

El proyecto llama.cpp ha actualizado su versión ROCm para Windows para incluir los DLLs necesarios de HIP runtime directamente junto a los binarios. Este cambio aborda el problema #26929 asegurando que se cargue el runtime correcto de HIP en lugar de potencialmente entrar en conflicto con la copia del controlador en System32.