github llama.cpp · ahora mismo · inference

llama.cpp b10662 añade ctx-per-slot para caché KV unificado

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10662, introduciendo un nuevo argumento `--kv-unified-per-slot` que permite a los usuarios especificar el contexto por ranura para el caché KV unificado. Este cambio reemplaza el mecanismo anterior de fracción de contexto con ranuras de pool de contexto y refactoriza la implementación subyacente.

Añade el argumento `ctx-per-slot` para gestionar la asignación del caché KV unificado de manera más granular.
Sustituye las fracciones de ctx por ranuras de pool de ctx para mejorar la lógica de gestión de memoria.
Elimina el parámetro obsoleto `ctx-pool-slots` y convierte `ctx-per-slot` a un tipo entero.
Incluye una limpieza general de formato y refactorización del código por Xuan Son Nguyen.

Esta actualización proporciona a los usuarios un control más fino sobre la distribución de la ventana de contexto entre múltiples ranuras en el sistema de caché KV unificado.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b10658 añade soporte para DFlash2 y corrige un error en mrope

El proyecto llama.cpp lanzó la compilación b10658, introduciendo soporte para la especificación DFlash2 que incluye convolución local y un selector de candidatos. Esta actualización también aborda un error específico de mrope dentro del código fuente.

github llama.cpp · hace 2 h · 1 vista

llama.cpp incluye DLLs de HIP runtime en la versión ROCm para Windows

El proyecto llama.cpp ha actualizado su versión ROCm para Windows para incluir los DLLs necesarios de HIP runtime directamente junto a los binarios. Este cambio aborda el problema #26929 asegurando que se cargue el runtime correcto de HIP en lugar de potencialmente entrar en conflicto con la copia del controlador en System32.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10656 limita la memoria de trabajo para evitar cargar tensores grandes en la RAM

El proyecto llama.cpp ha lanzado la compilación b10656, que incluye un cambio para limitar el tamaño de la memoria de trabajo. Esta modificación está diseñada para evitar que se carguen tensores grandes en la RAM del sistema.

github llama.cpp · hace 3 h · 1 vista

llama.cpp b10657 añade núcleos binarios de OpenCL para GEMO MOE

El proyecto llama.cpp lanzó la versión b10657, introduciendo nuevos núcleos binarios de OpenCL para modelos de expertos mixtos. Específicamente, la actualización añade `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` y `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` para soportar cómputo eficiente en hardware compatible.