github llama.cpp · há 1 h · inference

Lançamento do llama.cpp b10538 com cache KV desquantizado para grandes lotes

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10538, introduzindo uma otimização-chave no backend metal. Esta atualização permite a desquantização do cache de chave-valor (KV) exclusivamente para tamanhos de lote grandes.

A principal mudança está no backend metal, que agora aplica o cache KV desquantizado apenas ao processar grandes lotes.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

O suporte ao KleidiAI no Apple Silicon para macOS e o ROCm 7.14 no Ubuntu estão desabilitados neste lançamento.

Esta otimização visa melhorar a eficiência de memória ou o desempenho para cargas de trabalho que envolvem grandes tamanhos de lote em hardware compatível.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10545 corrige leituras fora dos limites no matmul do Metal para K não múltiplo de 32

O projeto llama.cpp lançou a compilação b10545, que aborda um bug crítico no kernel de multiplicação de matrizes da API de tensores do backend Metal. A atualização previne comportamento indefinido e resultados corrompidos ao processar tensores onde a dimensão K não é múltipla de 32.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10532 adiciona desquantização de KV do Metal para Flash Attention

O projeto llama.cpp lançou a versão b10532, introduzindo uma etapa de pré-processamento no backend do Metal que desquantiza os caches de Chave-Valor (KV) quantizados para F16 antes de executar o Flash Attention.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10519 refatora manipulação de suspensão para permitir acesso a métricas

O projeto llama.cpp lançou a versão b10519, que inclui uma refactorização significativa do mecanismo de manipulação de suspensão do servidor. Esta alteração permite que o endpoint /metrics permaneça acessível enquanto o servidor está em estado de suspensão.

github llama.cpp · há 9 h · 2 visualizações

llama.cpp b10517 adiciona otimizações de desquantização FA para Vulkan e correções

O projeto llama.cpp lançou a compilação b10517, introduzindo várias melhorias específicas para Vulkan no caminho de desquantização do flash attention (FA). As principais alterações incluem desquantizar q8_0 KV uma vez em coopmat1, pular o caminho de desquantização FA no coopmat2 e excluir Intel Xe1 do caminho de desquantização FA.

media r/LocalLLaMA · há 14 h · 2 visualizações

Modelo MoE G9v3-39A5B mostra resultados fortes no artificialanalysis

O modelo G9v3-39A5B está chamando a atenção por seu desempenho no artificialanalysis, onde reportedly fica acima do Qwen 3.6 27B.