github llama.cpp · há 9 h · inference

llama.cpp b11351 adiciona alloc_buffer_n e get_alloc_size_n à interface de tipo de buffer do backend ggml

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11351, introduzindo novos métodos na interface de tipo de buffer do backend ggml. A atualização adiciona `alloc_buffer_n` e `get_alloc_size_n` para permitir um controle mais granular sobre o dimensionamento e a consulta do tamanho dos buffers.

Adicionada a API pública `ggml_backend_buft_alloc_buffer_n` e o callback correspondente a `ggml_backend_buffer_type_i`.
Implementado tratamento padrão para divisão de múltiplos buffers e alocação de tensores via `ggml_tallocr`.
Adicionado callback opcional `get_alloc_size_n` para compartilhar a lógica de planejamento de mapeamento tensor-buffer.
Substituído realloc sem verificação por std::vector na implementação padrão.
Removida a função temporária `ggml_backend_meta_alloc_ctx_tensors_from_buft`.

Esta versão fornece binários para macOS, Linux, Windows, Android e openEuler em CPUs, GPUs (CUDA, Vulkan, ROCm, OpenCL), NPUs (Hexagon) e outros aceleradores.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

O projeto llama.cpp lançou a compilação b11368, que introduz amostragem probabilística para fluxos de trabalho de rascunho simples e MTP (Multi-Token Prediction). Esta atualização modifica o mecanismo de rascunho para usar seleção probabilística enquanto verifica os alvos por meio de amostragem por rejeição.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b11362 adiciona kernel de flash attention para API tensorial com KV em F16

O projeto llama.cpp lançou a compilação b11362, que introduz um novo kernel de flash attention para a API tensorial suportando armazenamento de chave-valor (KV) em F16. Esta atualização está disponível nas plataformas macOS, Linux, Windows, Android e iOS com várias opções de backend, incluindo CUDA, Vulkan e ROCm.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

llama.cpp b11362 adiciona kernel de flash attention para API tensorial com KV em F16

llama.cpp b11338 adiciona cópia DMA estrada compartilhada para CPY e CONCAT

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

llama.cpp b11333 adiciona suporte a bfloat16 para WebGPU em operações MUL_MAT