github llama.cpp · há 1 d · inference

llama.cpp b10068 rotaciona o cache K/V injetado para DFlash

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10068, que introduz uma alteração na implementação do modelo DFlash. A atualização modifica src/models/dflash.cpp para rotacionar o cache de chave/valor (K/V) injetado quando a quantização K/V é usada.

Este lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

A atualização garante o tratamento correto do cache para modelos DFlash sob condições de quantização.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10067 exclui a tabela de roteamento do DeepSeek-V4 da quantização

O projeto llama.cpp lançou a versão b10067, que inclui uma correção para a ferramenta `llama-quantize` para lidar corretamente com os modelos DeepSeek-V4. A atualização impede que o quantizador tente converter o tensor `ffn_gate_tid2eid`, uma tabela de índice de token-to-expert i32, em um tipo float.

github llama.cpp · há 2 d

llama.cpp b10067 exclui a tabela de roteamento do DeepSeek-V4 da quantização

llama.cpp b10066 adiciona suporte ao kernel kernel_gemm_moe_q6_k_f32_ns via OpenCL

Lançamento do llama.cpp b10064 com otimização de transposição OpenCL

llama.cpp b10059 define ggml-blas default hadamard mul_mat para rotina de CPU

llama.cpp b10057 corrige kernels Q5_K do SYCL e lança binários