github llama.cpp · agora mesmo · inference

llama.cpp b11433 adiciona suporte à operação de pooling do Hexagon

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11433, que introduz suporte para operações de pooling na NPU Hexagon. Esta atualização inclui implementações para camadas de pooling 2D e 1D.

Adicionado suporte para pool_2d e pool_1d para backends Hexagon.
Otimizados os limites de pooling HTP e o pipeline DMA.
Reescrito o pipeline DMA e adicionado suporte ao chunking de pooling.
Removidos os caminhos escalares vetorizados e simplificado o solucionador de chunks.

Este lançamento fornece binários para macOS, Linux, Windows, Android e openEuler nas arquiteturas CPU, GPU e NPU.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11424 corrige escrita fora dos limites na memória compartilhada do Vulkan Flash Attention

O projeto llama.cpp lançou a versão b11424, que inclui uma correção para um erro de escrita fora dos limites da memória compartilhada no backend do Vulkan ao usar o Flash Attention.

github llama.cpp · há 13 h · 16 visualizações

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

github llama.cpp · há 16 h · 23 visualizações

llama.cpp b11424 corrige escrita fora dos limites na memória compartilhada do Vulkan Flash Attention

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

llama.cpp b11405 aplica tiles ao indexador lightning sobre chaves e tokens para 4 cabeças

llama.cpp b11403 usa MMVF para mul_mat f16/bf16 fino em lotes pequenos

llama.cpp b11390 corrige falha de memória CUDA MMQ