github llama.cpp · há 1 d · inference

llama.cpp b10067 exclui a tabela de roteamento do DeepSeek-V4 da quantização

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10067, que inclui uma correção para a ferramenta `llama-quantize` para lidar corretamente com os modelos DeepSeek-V4. A atualização impede que o quantizador tente converter o tensor `ffn_gate_tid2eid`, uma tabela de índice de token-to-expert i32, em um tipo float.

Exclui a tabela de roteamento `ffn_gate_tid2eid` da quantização para evitar falhas de conversão.
Adiciona o tensor à lista de exclusão baseada em nomes ao lado de `ffn_gate_inp.weight`.
Resolve o problema #25754 onde a quantização falhava anteriormente nos modelos DeepSeek-V4.

Esta alteração permite que os usuários quantizem com sucesso os modelos DeepSeek-V4 sem encontrar erros relacionados à conversão de tipos integer para float.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10068 rotaciona o cache K/V injetado para DFlash

O projeto llama.cpp lançou a versão b10068, que introduz uma alteração na implementação do modelo DFlash. A atualização modifica src/models/dflash.cpp para rotacionar o cache de chave/valor (K/V) injetado quando a quantização K/V é usada.

github llama.cpp · há 2 d

llama.cpp b10066 adiciona suporte ao kernel kernel_gemm_moe_q6_k_f32_ns via OpenCL

O projeto llama.cpp lançou a versão b10066, introduzindo suporte ao kernel `kernel_gemm_moe_q6_k_f32_ns` via OpenCL. Esta atualização permite o carregamento e uso desta biblioteca de kernels binários específica dentro do framework.

github llama.cpp · há 2 d

Lançamento do llama.cpp b10064 com otimização de transposição OpenCL

O projeto llama.cpp lançou a versão b10064, que inclui uma alteração no backend do OpenCL. Esta atualização modifica o formato de quantização q4_K transpondo as escalas noshuffle para habilitar leituras coalescidas.

github llama.cpp · há 2 d

llama.cpp b10059 define ggml-blas default hadamard mul_mat para rotina de CPU

O projeto llama.cpp lançou a versão b10059, que atualiza a biblioteca ggml-blas para usar a rotina de CPU como padrão para multiplicação de matrizes Hadamard.

github llama.cpp · há 2 d

llama.cpp b10057 corrige kernels Q5_K do SYCL e lança binários

O projeto llama.cpp lançou a versão b10057, que inclui várias correções de bugs para o backend SYCL junto com distribuições binárias padrão em múltiplas plataformas.