github llama.cpp · agora mesmo · inference

llama.cpp b10908 corrige threads ociosas em kernels iq mul_mv do Metal

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10908, que inclui uma correção para threads ociosas nos kernels iq mul_mv restantes para ne00 < 1024. Esta alteração generaliza a lógica de divisão de linhas para seis kernels específicos: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s e iq3_s.

A correção aborda casos onde as linhas têm menos de 32 chunks, permitindo que as threads compartilhem chunks e peguem fatias das linhas.
Ela desloca o ponteiro da linha src0 uma vez nos kernels iq mul_mv já que q2, dh, sc, qh e sinais são derivados de xr.
A implementação combina a divisão de linha iq mul_mv com offset0 para manter x e seus ponteiros derivados no caminho existente.

Este lançamento fornece binários para macOS, Linux, Android, Windows e openEuler em várias arquiteturas incluindo CPU, CUDA, ROCm, Vulkan e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10907 corrige alocação de cache kv de contexto MTP para deepseek2, glm4moe, cohere2moe

O projeto llama.cpp lançou a versão b10907, que inclui uma correção para a alocação de cache de chave-valor de contexto de Multi-Token Prediction (MTP). Esta atualização aborda problemas que afetam as arquiteturas deepseek2, glm4moe e cohere2moe.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10905 ajusta Flash Attention para AMD RDNA4 e revisa a lógica de stream-k

O projeto llama.cpp lançou a compilação b10905, que inclui um ajuste específico do Flash Attention para CUDA/HIP na arquitetura gfx1201. Esta atualização foca em otimizar o desempenho para GPUs AMD RDNA4.

github llama.cpp · há 1 d · 5 visualizações

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.

github llama.cpp · há 2 d · 2 visualizações

llama.cpp b10883 corrige multiplicação de matrizes Vulkan e restaura otimizações Ampere

O projeto llama.cpp lançou a compilação b10883, que inclui atualizações significativas no backend Vulkan. A principal alteração envolve o uso de constantes de especificação para operações de multiplicação matriz-matriz tipo A para melhorar a compilação e o desempenho dos shaders.