github llama.cpp · agora mesmo · inference

llama.cpp b10236 implementa o Metal DSv4 Lightning Indexer

Traduzido do English → Português (BR)

A versão llama.cpp b10236 introduz uma implementação de Metal do DSv4 Lightning Indexer, suportando especificamente entradas de 128 dimensões com consultas e pesos F32 junto com chaves e máscaras F16.

A atualização inclui kernels em blocos e de cauda para lidar com comprimentos KV próximos aos limites de 8 e 64 elementos.
Os tiles K são armazenados e desquantizados na memória do grupo de threads F16 antes dos carregamentos de matriz simdgroup, suportando formatos F32, F16, BF16 e vários formatos de quantização.

Os benchmarks mostram uma taxa de preenchimento antecipado (pp512) melhorada em comprimentos de sequência de 10k, 20k e 30k tokens em comparação com versões anteriores.

Esta otimização melhora o desempenho de inferência em dispositivos Apple Silicon ao aprimorar os padrões de acesso à memória para o Lightning Indexer.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 5 d · 1 visualização

llama.cpp b10181 desativa MMQ em dispositivos com menos de 48 KiB de memória compartilhada

O projeto llama.cpp lançou a compilação b10181, que inclui uma correção em ggml-cuda para desativar a Quantização de Multiplicação de Matrizes (MMQ) em GPUs com menos de 48 KiB de memória compartilhada por bloco. Anteriormente, as configurações de MMQ assumiam um mínimo de 48 KiB, causando erros fatais em dispositivos como as GPUs NVIDIA Pascal e Moore Threads MTT S70, onde o tamanho do tile excedia a memória disponível.

media Hugging Face Forums · há 5 d

Hugging Face corrige DynamicCache para evitar saída incorreta em generate()

Um bug na função `generate()` do Hugging Face causa saídas incorretas quando `past_key_values` é um `DynamicCache` construído externamente. Este problema afeta métodos de compressão de cache KV como SnapKV, H2O e KIVI que reconstruem caches a partir de dados de prefill. A causa raiz é a falha em propagar o contexto posicional, levando a uma perda de precisão de 10,7pp no Qwen3-VL-8B.

github llama.cpp · há 6 d · 19 visualizações

llama.cpp b10165 adiciona suporte iq4_nl e q1_0 ao Vulkan FA

O projeto llama.cpp lançou a compilação b10165, que restaura o suporte à quantização iq4_nl para o backend Flash Attention (FA) do Vulkan. Esta alteração aborda a questão #23681 reativando o recurso após as preocupações sobre o uso de memória compartilhada serem consideradas insignificantes.

github llama.cpp · há 6 d

llama.cpp b10164 adiciona matmul SSD em blocos para aceleração do prefill do Mamba-2

O projeto llama.cpp lançou a versão b10164, introduzindo uma nova implementação de multiplicação de matriz SSD em blocos projetada para acelerar a fase de prefill dos modelos Mamba-2.