github llama.cpp · há 1 d · inference

llama.cpp b10353 corrige resultados incorretos silenciosos em kernels ROLL do CUDA e Metal

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10353, que aborda um bug crítico na operação ggml_roll nos backends CUDA e Metal. Anteriormente, tensores fonte permutados (não contíguos) produziam resultados incorretos silenciosamente porque esses backends ignoravam as informações de stride.

A correção adiciona um requisito de fonte contígua para ambos os kernels roll do CUDA e Metal, correspondendo à proteção GGML_OP_ROPE existente.
Essa alteração garante que o agendador recorra à implementação da CPU para entradas não contíguas, que lida corretamente com strides.
Um caso de teste test_roll permutado foi adicionado para verificar a correção.

Esta atualização previne corrupção de dados em modelos que dependem de operações ROLL com layouts de memória não padrão.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10321 corrige NORM/RMS_NORM para comprimentos parciais de linha do simdgroup

O projeto llama.cpp lançou a versão b10321, que inclui uma correção crítica para as operações GGML_OP_NORM e GGML_OP_RMS_NORM no Metal. A atualização resolve um problema em que threadgroups dimensionados para deixar um grupo SIMD parcial resultavam em cálculos incorretos de média e variância devido à perda de somas parciais.

github llama.cpp · há 6 d · 5 visualizações

llama.cpp b10293 adiciona CI do ROCm para gfx1151 e corrige inferência no RDNA3.5

O projeto llama.cpp lançou a compilação b10293, que inclui a integração contínua da AMD ROCm para a arquitetura gfx1151 e resolve problemas de correção em GPUs integradas com RDNA3.5.

github llama.cpp · há 8 d · 2 visualizações

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

github llama.cpp · há 8 d · 1 visualização

llama.cpp b10246 roteia grandes lm_head q6_K para GEMV plano

O projeto llama.cpp lançou a versão b10246, que inclui uma correção para o desempenho do OpenCL em configurações específicas de modelos. A atualização aborda um problema onde a condição de dimensão original era insuficiente para lidar com grandes pesos.

github llama.cpp · há 9 d · 6 visualizações

llama.cpp b10236 implementa o Metal DSv4 Lightning Indexer

A versão llama.cpp b10236 introduz uma implementação de Metal do DSv4 Lightning Indexer, suportando especificamente entradas de 128 dimensões com consultas e pesos F32 junto com chaves e máscaras F16.