github llama.cpp · há 1 h · inference

llama.cpp b10615 adiciona vec flash-attn ajustado por dispositivo para Metal

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10615, introduzindo operações vetoriais flash-attention quantizadas (Q, NE) ajustadas por dispositivo para o backend do Metal.

Adicionado 53 instâncias de vetores flash-attn f16, aumentando o total de 80 para 133.
Implementada uma tabela de ajuste e roteamento de despacho com fallback de capacidade de memória compartilhada.
Estendido o ajuste de vetores para suportar caches KV quantizados.
Incluídos parâmetros ajustados para dispositivos M1 Pro, M2 Ultra e M5 Max.

Esta atualização otimiza o desempenho em hardware Apple Silicon aplicando resultados de ajuste específicos ao backend do Metal.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10614 adiciona divisão de fonte por operação do Metal e compilação paralela

O lançamento llama.cpp b10614 introduz uma mudança arquitetural significativa no backend do Metal ao dividir as fontes das operações e habilitar a compilação paralela. Esta atualização também inclui várias implementações de kernel novas e suporte para formatos de quantização adicionais.

github llama.cpp · há 10 h · 12 visualizações

llama.cpp b10610 encurta a nomenclatura de dispositivos virtuais no CUDA e Metal

O projeto llama.cpp lançou a versão b10610, que inclui uma alteração para encurtar a nomenclatura de dispositivos virtuais dentro do backend ggml tanto para as plataformas CUDA quanto Metal.

github llama.cpp · há 15 h · 17 visualizações

llama.cpp b10605 achata projeções mamba2 para despachar GEMM

O projeto llama.cpp lançou a compilação b10605, que inclui uma otimização chave para a arquitetura Mamba2. A atualização achata as projeções de entrada e saída dos modelos Mamba2 para despachar operações de Multiplicação Geral de Matrizes (GEMM) em vez de operações de Multiplicação Geral de Matriz por Vetor (GEMV).

github llama.cpp · há 1 d · 13 visualizações

llama.cpp b10603 adiciona suporte MTP para GLM-4.5-Air

O projeto llama.cpp lançou a compilação b10603, que introduz o suporte à Predição de Múltiplos Tokens (MTP) para o modelo GLM-4.5-Air.

github llama.cpp · há 3 d · 5 visualizações

ggml otimiza a operação de concatenação substituindo memcpy por elemento por memcpy em nível de linha

A biblioteca ggml otimizou sua operação de concatenação substituindo cópias de memória por elemento por operações de memcpy em nível de linha. Esta mudança faz parte da versão b10578 do llama.cpp, que inclui vários binários específicos de plataforma e atualizações no grafo de computação subjacente.