github llama.cpp · há 1 h · inference

llama.cpp b11424 corrige escrita fora dos limites na memória compartilhada do Vulkan Flash Attention

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11424, que inclui uma correção para um erro de escrita fora dos limites da memória compartilhada no backend do Vulkan ao usar o Flash Attention.

Esta atualização fornece binários pré-compilados para macOS (Apple Silicon e Intel), Linux (CPU, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android e iOS. O lançamento também inclui a interface do usuário do llama.cpp.

A compilação para KleidiAI no macOS Apple Silicon está atualmente desabilitada nesta versão.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

github llama.cpp · há 8 h · 20 visualizações

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

llama.cpp b11405 aplica tiles ao indexador lightning sobre chaves e tokens para 4 cabeças

llama.cpp b11403 usa MMVF para mul_mat f16/bf16 fino em lotes pequenos

llama.cpp b11390 corrige falha de memória CUDA MMQ

llama.cpp b11375 corrige abortos de realocação de grafos sob GGML_SCHED_NO_REALLOC