github llama.cpp · agora mesmo · inference

llama.cpp b10408 adiciona kernel ESIMD Q3_K e move o controle para o tempo de execução

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10408, que introduz um kernel DMMV Q3_K ESIMD para GPUs Intel. Este lançamento também inclui novos kernels ESIMD Q4_K e Q6_K e refatora a base de código para permitir o controle do ESIMD em tempo de execução em vez de em tempo de compilação.

Adiciona kernels ESIMD DMMV Q3_K, Q4_K e Q6_K.
Move o controle do ESIMD da configuração em tempo de compilação para o tempo de execução.
Usa ESIMD por padrão quando disponível e corrige erros potenciais com esse comportamento padrão.
Inclui diretivas de desenrolamento explícitas para kernels ESIMD e limpa o código do kernel.

A atualização fornece binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, Vulkan, OpenCL, ROCm e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10353 corrige resultados incorretos silenciosos em kernels ROLL do CUDA e Metal

O projeto llama.cpp lançou a compilação b10353, que aborda um bug crítico na operação ggml_roll nos backends CUDA e Metal. Anteriormente, tensores fonte permutados (não contíguos) produziam resultados incorretos silenciosamente porque esses backends ignoravam as informações de stride.

github llama.cpp · há 6 d · 1 visualização

llama.cpp b10321 corrige NORM/RMS_NORM para comprimentos parciais de linha do simdgroup

O projeto llama.cpp lançou a versão b10321, que inclui uma correção crítica para as operações GGML_OP_NORM e GGML_OP_RMS_NORM no Metal. A atualização resolve um problema em que threadgroups dimensionados para deixar um grupo SIMD parcial resultavam em cálculos incorretos de média e variância devido à perda de somas parciais.

github llama.cpp · há 7 d · 6 visualizações

llama.cpp b10293 adiciona CI do ROCm para gfx1151 e corrige inferência no RDNA3.5

O projeto llama.cpp lançou a compilação b10293, que inclui a integração contínua da AMD ROCm para a arquitetura gfx1151 e resolve problemas de correção em GPUs integradas com RDNA3.5.

github llama.cpp · há 9 d · 3 visualizações

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

github llama.cpp · há 10 d · 1 visualização

llama.cpp b10246 roteia grandes lm_head q6_K para GEMV plano

O projeto llama.cpp lançou a versão b10246, que inclui uma correção para o desempenho do OpenCL em configurações específicas de modelos. A atualização aborda um problema onde a condição de dimensão original era insuficiente para lidar com grandes pesos.