github llama.cpp · agora mesmo · inference

llama.cpp b11375 corrige abortos de realocação de grafos sob GGML_SCHED_NO_REALLOC

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11375, que aborda um problema crítico onde células ubatch não contíguas forçavam realocações de grafos que seriam abortadas quando a flag GGML_SCHED_NO_REALLOC estava definida.

A correção reúne os estados recorrentes uma vez para que a reserva cubra cada divisão, garantindo que o tamanho da reserva no pior caso seja suficiente.
Uma única get_rows agora reúne n_rs estados, tratando ubatch e estados extras como vistas desta única alocação.
Getters personalizados como mamba ssm_scan obtêm do segundo estado para evitar copiar estados para ubatches de sequência única.
As vistas são construídas uma vez por grafo para manter a sobrecarga do host inalterada.

Esta alteração garante execução estável em ambientes de agendamento restrito, prevenindo abortos causados por restrições de realocação de memória.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11372 reduz pela metade a memória do índice qwen4exp e adiciona suporte a CUDA com 4 cabeças

O lançamento llama.cpp b11372 introduz otimizações para o índice relâmpago do modelo qwen4exp, principalmente reduzindo pela metade a memória necessária para as pontuações do índice durante o processamento de contexto longo. Isso é alcançado calculando as pontuações das cabeças in situ, em vez de materializar tensores separados para cada cabeça.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

O projeto llama.cpp lançou a compilação b11368, que introduz amostragem probabilística para fluxos de trabalho de rascunho simples e MTP (Multi-Token Prediction). Esta atualização modifica o mecanismo de rascunho para usar seleção probabilística enquanto verifica os alvos por meio de amostragem por rejeição.

github llama.cpp · há 14 h · 1 visualização

llama.cpp b11362 adiciona kernel de flash attention para API tensorial com KV em F16

O projeto llama.cpp lançou a compilação b11362, que introduz um novo kernel de flash attention para a API tensorial suportando armazenamento de chave-valor (KV) em F16. Esta atualização está disponível nas plataformas macOS, Linux, Windows, Android e iOS com várias opções de backend, incluindo CUDA, Vulkan e ROCm.

github llama.cpp · há 18 h · 4 visualizações

llama.cpp b11351 adiciona alloc_buffer_n e get_alloc_size_n à interface de tipo de buffer do backend ggml

O projeto llama.cpp lançou a compilação b11351, introduzindo novos métodos na interface de tipo de buffer do backend ggml. A atualização adiciona `alloc_buffer_n` e `get_alloc_size_n` para permitir um controle mais granular sobre o dimensionamento e a consulta do tamanho dos buffers.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b11338 adiciona cópia DMA estrada compartilhada para CPY e CONCAT

O projeto llama.cpp lançou a compilação b11338, introduzindo um mecanismo de cópia Direct Memory Access (DMA) estrada compartilhada para as operações CPY e CONCAT. Esta atualização permite CONCAT de qualquer dimensão via DMA em arquiteturas Hexagon.