github llama.cpp · há 1 h · inference

llama.cpp b11405 aplica tiles ao indexador lightning sobre chaves e tokens para 4 cabeças

Traduzido do English → Português (BR)

A versão b11405 do llama.cpp atualiza o backend CUDA aplicando tiles ao indexador lightning sobre chaves e tokens para 4 cabeças, resolvendo problemas de desempenho com contagens pequenas de cabeças.

O kernel armazena em buffer as consultas e pesos para todas as cabeças de uma vez, ampliando cada elemento de chave de meia precisão uma vez para alimentar todas as cabeças sem uma viagem de ida e volta float.
As consultas permanecem em float dentro da memória compartilhada para evitar estouro de produtos half2 quando q * k excede o intervalo f16.
Cada thread agora pontua duas chaves para um único token, reduzindo leituras compartilhadas e mantendo o gfx908 em 63 VGPRs sem transbordamento de registrador.
Esta otimização torna o kernel 36x mais rápido em uma R9700 e ligeiramente mais rápido em hardware CUDA.

A versão fornece binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, GPU (CUDA, ROCm, Vulkan, OpenCL) e NPU.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11403 usa MMVF para mul_mat f16/bf16 fino em lotes pequenos

O projeto llama.cpp lançou a versão b11403, que inclui uma otimização de CUDA para usar o kernel MMVF para multiplicações de matriz f16 e bf16 finas em tamanhos de lote pequenos.

github llama.cpp · há 19 h · 28 visualizações

llama.cpp b11390 corrige falha de memória CUDA MMQ

O projeto llama.cpp lançou a versão b11390, que inclui uma correção para uma falha de memória CUDA MMQ que ocorria quando o número de especialistas era significativamente maior que o tamanho do micro-lote.

github llama.cpp · há 2 d · 24 visualizações

llama.cpp b11375 corrige abortos de realocação de grafos sob GGML_SCHED_NO_REALLOC

O projeto llama.cpp lançou a compilação b11375, que aborda um problema crítico onde células ubatch não contíguas forçavam realocações de grafos que seriam abortadas quando a flag GGML_SCHED_NO_REALLOC estava definida.

github llama.cpp · há 2 d · 29 visualizações

llama.cpp b11372 reduz pela metade a memória do índice qwen4exp e adiciona suporte a CUDA com 4 cabeças

O lançamento llama.cpp b11372 introduz otimizações para o índice relâmpago do modelo qwen4exp, principalmente reduzindo pela metade a memória necessária para as pontuações do índice durante o processamento de contexto longo. Isso é alcançado calculando as pontuações das cabeças in situ, em vez de materializar tensores separados para cada cabeça.

github llama.cpp · há 2 d · 30 visualizações

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

O projeto llama.cpp lançou a compilação b11368, que introduz amostragem probabilística para fluxos de trabalho de rascunho simples e MTP (Multi-Token Prediction). Esta atualização modifica o mecanismo de rascunho para usar seleção probabilística enquanto verifica os alvos por meio de amostragem por rejeição.