github llama.cpp · agora mesmo · inference

llama.cpp b10545 corrige leituras fora dos limites no matmul do Metal para K não múltiplo de 32

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10545, que aborda um bug crítico no kernel de multiplicação de matrizes da API de tensores do backend Metal. A atualização previne comportamento indefinido e resultados corrompidos ao processar tensores onde a dimensão K não é múltipla de 32.

A operação matmul2d agora usa dynamic_extent para K em vez de um tamanho de bloco estático.
As visualizações de tensores de operandos são limitadas ao intervalo K válido restante em cada iteração.
Esta mudança elimina leituras fora dos limites que anteriormente causavam valores NaN ou corrupção de dados.
Casos de teste foram adicionados para exercitar o caminho com K não alinhado e verificar a correção.

Esta correção garante estabilidade numérica para modelos com dimensões de matriz não alinhadas em dispositivos Apple Silicon, prevenindo erros silenciosos durante a inferência.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10541 adiciona o argumento --mmproj-device para projetos multimodais

O projeto llama.cpp lançou a compilação b10541, introduzindo o argumento de linha de comando `--mmproj-device` para permitir que os usuários especifiquem o backend do dispositivo para carregar arquivos de projeção multimodal.

github llama.cpp · há 2 h · 1 visualização

Lançamento do llama.cpp b10538 com cache KV desquantizado para grandes lotes

O projeto llama.cpp lançou a versão b10538, introduzindo uma otimização-chave no backend metal. Esta atualização permite a desquantização do cache de chave-valor (KV) exclusivamente para tamanhos de lote grandes.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10532 adiciona desquantização de KV do Metal para Flash Attention

O projeto llama.cpp lançou a versão b10532, introduzindo uma etapa de pré-processamento no backend do Metal que desquantiza os caches de Chave-Valor (KV) quantizados para F16 antes de executar o Flash Attention.

github llama.cpp · há 7 h · 1 visualização

llama.cpp b10519 refatora manipulação de suspensão para permitir acesso a métricas

O projeto llama.cpp lançou a versão b10519, que inclui uma refactorização significativa do mecanismo de manipulação de suspensão do servidor. Esta alteração permite que o endpoint /metrics permaneça acessível enquanto o servidor está em estado de suspensão.

github llama.cpp · há 10 h · 2 visualizações

llama.cpp b10517 adiciona otimizações de desquantização FA para Vulkan e correções

O projeto llama.cpp lançou a compilação b10517, introduzindo várias melhorias específicas para Vulkan no caminho de desquantização do flash attention (FA). As principais alterações incluem desquantizar q8_0 KV uma vez em coopmat1, pular o caminho de desquantização FA no coopmat2 e excluir Intel Xe1 do caminho de desquantização FA.