github llama.cpp · hace 1 d · inference

llama.cpp b10068 rota la caché K/V inyectada para DFlash

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10068, que introduce un cambio en la implementación del modelo DFlash. La actualización modifica src/models/dflash.cpp para rotar la caché de clave/valor (K/V) inyectada cuando se usa cuantización K/V.

Este lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.

La actualización asegura un manejo correcto de la caché para los modelos DFlash bajo condiciones de cuantización.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10067 excluye la tabla de enrutamiento de DeepSeek-V4 de la cuantización

El proyecto llama.cpp lanzó la versión b10067, que incluye una corrección para la herramienta `llama-quantize` para manejar correctamente los modelos DeepSeek-V4. La actualización evita que el cuantizador intente convertir el tensor `ffn_gate_tid2eid`, una tabla de índices de token a experto i32, en un tipo float.

github llama.cpp · hace 2 d

llama.cpp b10066 añade soporte para el kernel kernel_gemm_moe_q6_k_f32_ns mediante OpenCL

El proyecto llama.cpp ha lanzado la versión b10066, introduciendo soporte para el kernel `kernel_gemm_moe_q6_k_f32_ns` a través de OpenCL. Esta actualización permite la carga y el uso de esta biblioteca de kernels binarios específica dentro del marco.

github llama.cpp · hace 2 d

llama.cpp b10067 excluye la tabla de enrutamiento de DeepSeek-V4 de la cuantización

llama.cpp b10066 añade soporte para el kernel kernel_gemm_moe_q6_k_f32_ns mediante OpenCL

Lanzamiento de llama.cpp b10064 con optimización de transposición OpenCL

llama.cpp b10059 establece ggml-blas default hadamard mul_mat en rutina de CPU

llama.cpp b10057 corrige núcleos Q5_K de SYCL y lanza binarios