github llama.cpp · há 1 h · inference

llama.cpp b10246 roteia grandes lm_head q6_K para GEMV plano

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10246, que inclui uma correção para o desempenho do OpenCL em configurações específicas de modelos. A atualização aborda um problema onde a condição de dimensão original era insuficiente para lidar com grandes pesos.

Roteia tensores lm_head q6_K grandes para GEMV plano em vez de gemv_noshuffle.
Adiciona uma condição de tamanho direta para evitar lentidão com modelos como gemma-4 E2B, que tem dimensões [1536, 262144].
Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

Esta alteração garante que grandes matrizes de pesos sejam processadas eficientemente em dispositivos OpenCL sem causar gargalos de desempenho.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10236 implementa o Metal DSv4 Lightning Indexer

A versão llama.cpp b10236 introduz uma implementação de Metal do DSv4 Lightning Indexer, suportando especificamente entradas de 128 dimensões com consultas e pesos F32 junto com chaves e máscaras F16.

github llama.cpp · há 3 d · 8 visualizações

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 5 d · 2 visualizações

llama.cpp b10181 desativa MMQ em dispositivos com menos de 48 KiB de memória compartilhada

O projeto llama.cpp lançou a compilação b10181, que inclui uma correção em ggml-cuda para desativar a Quantização de Multiplicação de Matrizes (MMQ) em GPUs com menos de 48 KiB de memória compartilhada por bloco. Anteriormente, as configurações de MMQ assumiam um mínimo de 48 KiB, causando erros fatais em dispositivos como as GPUs NVIDIA Pascal e Moore Threads MTT S70, onde o tamanho do tile excedia a memória disponível.

media Hugging Face Forums · há 5 d

Hugging Face corrige DynamicCache para evitar saída incorreta em generate()

Um bug na função `generate()` do Hugging Face causa saídas incorretas quando `past_key_values` é um `DynamicCache` construído externamente. Este problema afeta métodos de compressão de cache KV como SnapKV, H2O e KIVI que reconstruem caches a partir de dados de prefill. A causa raiz é a falha em propagar o contexto posicional, levando a uma perda de precisão de 10,7pp no Qwen3-VL-8B.

github llama.cpp · há 6 d · 19 visualizações

llama.cpp b10165 adiciona suporte iq4_nl e q1_0 ao Vulkan FA

O projeto llama.cpp lançou a compilação b10165, que restaura o suporte à quantização iq4_nl para o backend Flash Attention (FA) do Vulkan. Esta alteração aborda a questão #23681 reativando o recurso após as preocupações sobre o uso de memória compartilhada serem consideradas insignificantes.