github llama.cpp · há 1 d · inference

llama.cpp b11330 adiciona suporte MTP para Qwen4Exp

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11330, que introduz o suporte à Predição de Múltiplos Tokens (MTP) especificamente para o modelo Qwen4Exp. Esta atualização faz parte de um lançamento mais amplo que fornece binários para macOS, Linux, Windows, Android e iOS em vários backends de hardware.

Adiciona funcionalidade MTP para modelos Qwen4Exp via pull request #29761.
Remove o membro `has_state` em favor de verificar se `ctx_bufs` não está vazio.
Inclui limpeza de código com convenções de nomenclatura consistentes e redução da verbosidade nos comentários.
Fornece binários pré-compilados para CPU, GPU (CUDA, Vulkan, ROCm, OpenCL) e NPU (Snapdragon Hexagon).

Este lançamento permite que os usuários aproveitem as capacidades MTP dentro do llama.cpp enquanto mantém a compatibilidade com as configurações de hardware existentes.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

O projeto llama.cpp lançou a compilação b11368, que introduz amostragem probabilística para fluxos de trabalho de rascunho simples e MTP (Multi-Token Prediction). Esta atualização modifica o mecanismo de rascunho para usar seleção probabilística enquanto verifica os alvos por meio de amostragem por rejeição.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b11362 adiciona kernel de flash attention para API tensorial com KV em F16

O projeto llama.cpp lançou a compilação b11362, que introduz um novo kernel de flash attention para a API tensorial suportando armazenamento de chave-valor (KV) em F16. Esta atualização está disponível nas plataformas macOS, Linux, Windows, Android e iOS com várias opções de backend, incluindo CUDA, Vulkan e ROCm.

github llama.cpp · há 8 h · 4 visualizações

llama.cpp b11351 adiciona alloc_buffer_n e get_alloc_size_n à interface de tipo de buffer do backend ggml

O projeto llama.cpp lançou a compilação b11351, introduzindo novos métodos na interface de tipo de buffer do backend ggml. A atualização adiciona `alloc_buffer_n` e `get_alloc_size_n` para permitir um controle mais granular sobre o dimensionamento e a consulta do tamanho dos buffers.

github llama.cpp · há 23 h · 1 visualização

llama.cpp b11338 adiciona cópia DMA estrada compartilhada para CPY e CONCAT

O projeto llama.cpp lançou a compilação b11338, introduzindo um mecanismo de cópia Direct Memory Access (DMA) estrada compartilhada para as operações CPY e CONCAT. Esta atualização permite CONCAT de qualquer dimensão via DMA em arquiteturas Hexagon.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

O projeto llama.cpp lançou a versão b11335, que inclui uma otimização CUDA para GPUs Volta. A atualização direciona a arquitetura sm_70 para a tabela nwarps existente do Turing MMVQ em vez de cair na configuração genérica.