github llama.cpp · agora mesmo · inference

llama.cpp b10410 remove promoção de tipo fp32 separada no caminho gemm non-oneDNN

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10410, que inclui uma alteração de código para o backend SYCL. Esta atualização remove a promoção de tipo fp32 separada no caminho GEMM non-oneDNN e em vez disso usa promoção automática fp16.

O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) e openEuler.
O suporte a macOS Apple Silicon KleidiAI está desativado neste lançamento.
O suporte a Ubuntu x64 ROCm 7.14 também está desativado.
O componente UI está disponível como um download separado.

Esta atualização simplifica a implementação do SYCL GEMM, dependendo da promoção automática de tipo em vez de manipulação explícita.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10408 adiciona kernel ESIMD Q3_K e move o controle para o tempo de execução

O projeto llama.cpp lançou a versão b10408, que introduz um kernel DMMV Q3_K ESIMD para GPUs Intel. Este lançamento também inclui novos kernels ESIMD Q4_K e Q6_K e refatora a base de código para permitir o controle do ESIMD em tempo de execução em vez de em tempo de compilação.

github llama.cpp · há 3 d

llama.cpp b10353 corrige resultados incorretos silenciosos em kernels ROLL do CUDA e Metal

O projeto llama.cpp lançou a compilação b10353, que aborda um bug crítico na operação ggml_roll nos backends CUDA e Metal. Anteriormente, tensores fonte permutados (não contíguos) produziam resultados incorretos silenciosamente porque esses backends ignoravam as informações de stride.

github llama.cpp · há 6 d · 1 visualização

llama.cpp b10321 corrige NORM/RMS_NORM para comprimentos parciais de linha do simdgroup

O projeto llama.cpp lançou a versão b10321, que inclui uma correção crítica para as operações GGML_OP_NORM e GGML_OP_RMS_NORM no Metal. A atualização resolve um problema em que threadgroups dimensionados para deixar um grupo SIMD parcial resultavam em cálculos incorretos de média e variância devido à perda de somas parciais.

github llama.cpp · há 7 d · 6 visualizações

llama.cpp b10293 adiciona CI do ROCm para gfx1151 e corrige inferência no RDNA3.5

O projeto llama.cpp lançou a compilação b10293, que inclui a integração contínua da AMD ROCm para a arquitetura gfx1151 e resolve problemas de correção em GPUs integradas com RDNA3.5.

github llama.cpp · há 9 d · 3 visualizações

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.