github llama.cpp · há 1 h · inference

llama.cpp b10427 funde operações FFN SYCL para ganho de throughput de até 12,4%

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10427, que inclui uma otimização de desempenho para GPUs Intel Arc via SYCL. A atualização implementa a fusão das operações gate, up e GLU dentro da camada feed-forward densa (FFN) q4_K.

Medido em um Arc Pro B70 usando llama-bench, o throughput aumentou 2,8% para qwen2.5-3B-Instruct e 2,0% para gemma-2-2b-it.
Benchmarks de inferência em lote no qwen2.5-3B mostraram ganhos significativos: +3,4% com batch size 1, subindo para +10,1% com B=2, +10,7% com B=4 e +12,4% com B=8.

Este lançamento fornece binários pré-compilados para macOS, Linux, Windows, Android e openEuler nos backends de CPU, CUDA, Vulkan, ROCm e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10413 adiciona detecção automática do tipo de especificação de rascunho a partir dos metadados GGUF

O projeto llama.cpp lançou a versão b10413, que introduz a detecção automática do tipo de especificação de decodificação especulativa diretamente dos metadados do modelo GGUF de rascunho.

github llama.cpp · há 18 h · 1 visualização

llama.cpp b10410 remove promoção de tipo fp32 separada no caminho gemm non-oneDNN

O projeto llama.cpp lançou a versão b10410, que inclui uma alteração de código para o backend SYCL. Esta atualização remove a promoção de tipo fp32 separada no caminho GEMM non-oneDNN e em vez disso usa promoção automática fp16.

github llama.cpp · há 19 h · 4 visualizações

llama.cpp b10408 adiciona kernel ESIMD Q3_K e move o controle para o tempo de execução

O projeto llama.cpp lançou a versão b10408, que introduz um kernel DMMV Q3_K ESIMD para GPUs Intel. Este lançamento também inclui novos kernels ESIMD Q4_K e Q6_K e refatora a base de código para permitir o controle do ESIMD em tempo de execução em vez de em tempo de compilação.

github llama.cpp · há 3 d · 6 visualizações

llama.cpp b10353 corrige resultados incorretos silenciosos em kernels ROLL do CUDA e Metal

O projeto llama.cpp lançou a compilação b10353, que aborda um bug crítico na operação ggml_roll nos backends CUDA e Metal. Anteriormente, tensores fonte permutados (não contíguos) produziam resultados incorretos silenciosamente porque esses backends ignoravam as informações de stride.

github llama.cpp · há 7 d · 8 visualizações

llama.cpp b10321 corrige NORM/RMS_NORM para comprimentos parciais de linha do simdgroup

O projeto llama.cpp lançou a versão b10321, que inclui uma correção crítica para as operações GGML_OP_NORM e GGML_OP_RMS_NORM no Metal. A atualização resolve um problema em que threadgroups dimensionados para deixar um grupo SIMD parcial resultavam em cálculos incorretos de média e variância devido à perda de somas parciais.