github llama.cpp · hace 17 h · inference

llama.cpp b10069 añade soporte de difusión OpenCL para Adreno MUL_MAT

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10069, que incluye actualizaciones específicas de OpenCL para GPUs Qualcomm Adreno. El cambio principal implica soportar operaciones de difusión para el kernel Adreno MUL_MAT y respetar los desplazamientos de vista para la variante Q8_0 MUL_MAT para habilitar la funcionalidad multi-stream en llama-server.

Añadido soporte de difusión para kernels GEMM/GEMV noshuffle de Adreno.
Asegurado que los desplazamientos de vista se manejan correctamente para operaciones GEMM/GEMV noshuffle de Adreno.
Implementado soporte general de difusión GEMM/GEMV dentro del backend OpenCL.
Eliminadas pruebas y comentarios innecesarios de la base de código.

Esta actualización mejora la compatibilidad con cargas de trabajo multi-stream en hardware Adreno al corregir problemas críticos de manejo de kernels.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10068 rota la caché K/V inyectada para DFlash

El proyecto llama.cpp lanzó la versión b10068, que introduce un cambio en la implementación del modelo DFlash. La actualización modifica src/models/dflash.cpp para rotar la caché de clave/valor (K/V) inyectada cuando se usa cuantización K/V.

github llama.cpp · hace 2 d

llama.cpp b10067 excluye la tabla de enrutamiento de DeepSeek-V4 de la cuantización

El proyecto llama.cpp lanzó la versión b10067, que incluye una corrección para la herramienta `llama-quantize` para manejar correctamente los modelos DeepSeek-V4. La actualización evita que el cuantizador intente convertir el tensor `ffn_gate_tid2eid`, una tabla de índices de token a experto i32, en un tipo float.

github llama.cpp · hace 3 d

llama.cpp b10066 añade soporte para el kernel kernel_gemm_moe_q6_k_f32_ns mediante OpenCL

El proyecto llama.cpp ha lanzado la versión b10066, introduciendo soporte para el kernel `kernel_gemm_moe_q6_k_f32_ns` a través de OpenCL. Esta actualización permite la carga y el uso de esta biblioteca de kernels binarios específica dentro del marco.

github llama.cpp · hace 3 d · 2 vistas

Lanzamiento de llama.cpp b10064 con optimización de transposición OpenCL

El proyecto llama.cpp ha lanzado la versión b10064, que incluye un cambio en el backend de OpenCL. Esta actualización modifica el formato de cuantización q4_K transponiendo las escalas noshuffle para habilitar lecturas combinadas.

github llama.cpp · hace 3 d

llama.cpp b10059 establece ggml-blas default hadamard mul_mat en rutina de CPU

El proyecto llama.cpp ha lanzado la versión b10059, que actualiza la biblioteca ggml-blas para usar la rutina de CPU como predeterminada para la multiplicación de matrices de Hadamard.