github llama.cpp · há 1 h · inference

llama.cpp b11390 corrige falha de memória CUDA MMQ

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11390, que inclui uma correção para uma falha de memória CUDA MMQ que ocorria quando o número de especialistas era significativamente maior que o tamanho do micro-lote.

Resolve uma falha de memória no backend CUDA relacionada ao manuseio de Mixture-of-Experts (MMQ).
Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.
Inclui uma versão atualizada da interface do usuário.

Esta atualização garante estabilidade para usuários que executam modelos Mixture-of-Experts em hardware CUDA, impedindo o erro específico de acesso à memória.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11375 corrige abortos de realocação de grafos sob GGML_SCHED_NO_REALLOC

O projeto llama.cpp lançou a compilação b11375, que aborda um problema crítico onde células ubatch não contíguas forçavam realocações de grafos que seriam abortadas quando a flag GGML_SCHED_NO_REALLOC estava definida.

github llama.cpp · há 1 d · 15 visualizações

llama.cpp b11372 reduz pela metade a memória do índice qwen4exp e adiciona suporte a CUDA com 4 cabeças

O lançamento llama.cpp b11372 introduz otimizações para o índice relâmpago do modelo qwen4exp, principalmente reduzindo pela metade a memória necessária para as pontuações do índice durante o processamento de contexto longo. Isso é alcançado calculando as pontuações das cabeças in situ, em vez de materializar tensores separados para cada cabeça.

github llama.cpp · há 1 d · 17 visualizações

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

O projeto llama.cpp lançou a compilação b11368, que introduz amostragem probabilística para fluxos de trabalho de rascunho simples e MTP (Multi-Token Prediction). Esta atualização modifica o mecanismo de rascunho para usar seleção probabilística enquanto verifica os alvos por meio de amostragem por rejeição.

github llama.cpp · há 2 d · 16 visualizações

llama.cpp b11362 adiciona kernel de flash attention para API tensorial com KV em F16

O projeto llama.cpp lançou a compilação b11362, que introduz um novo kernel de flash attention para a API tensorial suportando armazenamento de chave-valor (KV) em F16. Esta atualização está disponível nas plataformas macOS, Linux, Windows, Android e iOS com várias opções de backend, incluindo CUDA, Vulkan e ROCm.

github llama.cpp · há 2 d · 16 visualizações

llama.cpp b11351 adiciona alloc_buffer_n e get_alloc_size_n à interface de tipo de buffer do backend ggml

O projeto llama.cpp lançou a compilação b11351, introduzindo novos métodos na interface de tipo de buffer do backend ggml. A atualização adiciona `alloc_buffer_n` e `get_alloc_size_n` para permitir um controle mais granular sobre o dimensionamento e a consulta do tamanho dos buffers.