github llama.cpp · há 2 h · inference

llama.cpp b10293 adiciona CI do ROCm para gfx1151 e corrige inferência no RDNA3.5

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10293, que inclui a integração contínua da AMD ROCm para a arquitetura gfx1151 e resolve problemas de correção em GPUs integradas com RDNA3.5.

Corrige o test-recurrent-state-rollback no gfx1151 permitindo buffers de saída do host da GPU integrada em asserções de depuração.
Restaura a correção da inferência no RDNA3.5 habilitando memória unificada para contornar problemas de coerência da GPU com pesos carregados via mmap.
Corrige erros de execução assíncrona no caminho HIP utilizando HIP_LAUNCH_BLOCKING=1 para serializar lançamentos de kernels.
Ignora testes da arquitetura jamba e subtestes top-k no backend HIP devido a operações não suportadas e saída incorreta.

Esta atualização permite testes e inferência confiáveis de modelos llama.cpp em hardware AMD RDNA3.5 via ROCm.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

github llama.cpp · há 3 d

llama.cpp b10246 roteia grandes lm_head q6_K para GEMV plano

O projeto llama.cpp lançou a versão b10246, que inclui uma correção para o desempenho do OpenCL em configurações específicas de modelos. A atualização aborda um problema onde a condição de dimensão original era insuficiente para lidar com grandes pesos.

github llama.cpp · há 3 d · 6 visualizações

llama.cpp b10236 implementa o Metal DSv4 Lightning Indexer

A versão llama.cpp b10236 introduz uma implementação de Metal do DSv4 Lightning Indexer, suportando especificamente entradas de 128 dimensões com consultas e pesos F32 junto com chaves e máscaras F16.

github llama.cpp · há 6 d · 8 visualizações

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 8 d · 2 visualizações

llama.cpp b10181 desativa MMQ em dispositivos com menos de 48 KiB de memória compartilhada

O projeto llama.cpp lançou a compilação b10181, que inclui uma correção em ggml-cuda para desativar a Quantização de Multiplicação de Matrizes (MMQ) em GPUs com menos de 48 KiB de memória compartilhada por bloco. Anteriormente, as configurações de MMQ assumiam um mínimo de 48 KiB, causando erros fatais em dispositivos como as GPUs NVIDIA Pascal e Moore Threads MTT S70, onde o tamanho do tile excedia a memória disponível.