github llama.cpp · agora mesmo · inference

llama.cpp b10922 adiciona kernel binário OpenCL A8 Q4_K

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10922, introduzindo um novo kernel binário OpenCL para multiplicações de matriz não-MoE de A8 Q4_K. Esta atualização também inclui correções de compatibilidade de layout e renomeia os auxiliares de seleção de kernel binário dentro da base de código.

Adicionado o kernel OpenCL `kernel_gemm_noshuffle_q4_k_f32_32b_trans_ila_a8_bin`.
Corrigidos problemas de compatibilidade de layout no backend OpenCL.
Renomeados os auxiliares de seleção de kernel binário para maior clareza.

Este lançamento fornece binários atualizados para macOS, Linux, Windows, Android e iOS em vários backends de hardware, incluindo CPU, CUDA, Vulkan, ROCm e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10907 corrige alocação de cache kv de contexto MTP para deepseek2, glm4moe, cohere2moe

O projeto llama.cpp lançou a versão b10907, que inclui uma correção para a alocação de cache de chave-valor de contexto de Multi-Token Prediction (MTP). Esta atualização aborda problemas que afetam as arquiteturas deepseek2, glm4moe e cohere2moe.

github llama.cpp · há 22 h · 1 visualização

llama.cpp b10908 corrige threads ociosas em kernels iq mul_mv do Metal

O projeto llama.cpp lançou a versão b10908, que inclui uma correção para threads ociosas nos kernels iq mul_mv restantes para ne00 < 1024. Esta alteração generaliza a lógica de divisão de linhas para seis kernels específicos: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s e iq3_s.

github llama.cpp · há 23 h · 1 visualização

llama.cpp b10905 ajusta Flash Attention para AMD RDNA4 e revisa a lógica de stream-k

O projeto llama.cpp lançou a compilação b10905, que inclui um ajuste específico do Flash Attention para CUDA/HIP na arquitetura gfx1201. Esta atualização foca em otimizar o desempenho para GPUs AMD RDNA4.

github llama.cpp · há 2 d · 6 visualizações

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.