github llama.cpp · há 1 h · inference

llama.cpp b11403 usa MMVF para mul_mat f16/bf16 fino em lotes pequenos

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11403, que inclui uma otimização de CUDA para usar o kernel MMVF para multiplicações de matriz f16 e bf16 finas em tamanhos de lote pequenos.

Lógica de seleção de kernel ajustada para melhorar o desempenho em GPUs NVIDIA.
Binários fornecidos para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.
Incluídos XCFramework da iOS e builds de UI junto com os binários padrão.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11405 aplica tiles ao indexador lightning sobre chaves e tokens para 4 cabeças

A versão b11405 do llama.cpp atualiza o backend CUDA aplicando tiles ao indexador lightning sobre chaves e tokens para 4 cabeças, resolvendo problemas de desempenho com contagens pequenas de cabeças.

github llama.cpp · há 19 h · 28 visualizações

llama.cpp b11390 corrige falha de memória CUDA MMQ

O projeto llama.cpp lançou a versão b11390, que inclui uma correção para uma falha de memória CUDA MMQ que ocorria quando o número de especialistas era significativamente maior que o tamanho do micro-lote.

github llama.cpp · há 2 d · 24 visualizações

llama.cpp b11375 corrige abortos de realocação de grafos sob GGML_SCHED_NO_REALLOC

O projeto llama.cpp lançou a compilação b11375, que aborda um problema crítico onde células ubatch não contíguas forçavam realocações de grafos que seriam abortadas quando a flag GGML_SCHED_NO_REALLOC estava definida.

github llama.cpp · há 2 d · 29 visualizações

llama.cpp b11372 reduz pela metade a memória do índice qwen4exp e adiciona suporte a CUDA com 4 cabeças

O lançamento llama.cpp b11372 introduz otimizações para o índice relâmpago do modelo qwen4exp, principalmente reduzindo pela metade a memória necessária para as pontuações do índice durante o processamento de contexto longo. Isso é alcançado calculando as pontuações das cabeças in situ, em vez de materializar tensores separados para cada cabeça.

github llama.cpp · há 2 d · 30 visualizações

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

O projeto llama.cpp lançou a compilação b11368, que introduz amostragem probabilística para fluxos de trabalho de rascunho simples e MTP (Multi-Token Prediction). Esta atualização modifica o mecanismo de rascunho para usar seleção probabilística enquanto verifica os alvos por meio de amostragem por rejeição.