github llama.cpp · há 1 h · inference

llama.cpp b10985 restringe o cache de hash RPC a pesos

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10985, que modifica o backend RPC para limitar o armazenamento em cache baseado em hash exclusivamente a tensores de peso. Esta alteração aborda um problema onde os dados de ativação eram desnecessariamente hashados e armazenados, levando ao uso excessivo do disco.

As funções `ggml_backend_rpc_buffer_set_tensor` e `ggml_backend_rpc_set_tensor_async` agora apenas hasham transferências para buffers marcados com `GGML_BACKEND_BUFFER_USAGE_WEIGHTS`.
Um novo byte `cache_flag` na mensagem SET_TENSOR sinaliza quando uma entrada de cache deve ser salva, substituindo a lógica anterior do estado pendente no lado do servidor.

Esta otimização impede que dados de computação preencham o espaço em disco, garantindo que apenas os pesos sejam armazenados em cache via caminho de hash.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10984 adiciona suporte CUDA para SUM_ROWS contíguo por linha

O projeto llama.cpp lançou a versão b10984, introduzindo suporte CUDA para operações SUM_ROWS contíguas por linha. Esta atualização também organiza o código para incluir GGML_OP_MEAN para lidar com tensores contíguos por linha por meio de um kernel compartilhado.

github llama.cpp · há 3 h · 2 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

github llama.cpp · há 5 h · 1 visualização

llama.cpp adiciona kernels Metal FA para HSK=96, HSV=64 do MiniCPM3

O projeto llama.cpp adicionou suporte ao kernel Flash Attention (FA) para a configuração específica usada pelo MiniCPM3 no Apple Silicon. Esta alteração corrige uma falha onde a flag `-fa auto` abortava devido à falta de instanciação de kernel para o comprimento da chave de atenção 96 e do valor 64.

github llama.cpp · há 18 h · 3 visualizações

Lançamento b10970 do llama.cpp usa acumulação fp32 em dispositivos MFMA

O projeto llama.cpp lançou a versão b10970, que inclui uma atualização técnica no backend fattn-mma. Esta alteração implementa o uso de acumuladores fp32 especificamente para dispositivos da arquitetura CDNA.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10956 adiciona seleção de radix para grande k no top_k do SYCL

O lançamento llama.cpp b10956 introduz um algoritmo de seleção de radix para o backend SYCL a fim de lidar com valores grandes de k na operação TOP_K, que anteriormente fazia fallback para CPU quando k > 32. Essa alteração permite o processamento residente na GPU para grandes k por meio de passes baseados em histograma que mantêm o footprint da memória local compartilhada independente de k.