github llama.cpp · agora mesmo · inference

llama.cpp b10907 corrige alocação de cache kv de contexto MTP para deepseek2, glm4moe, cohere2moe

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10907, que inclui uma correção para a alocação de cache de chave-valor de contexto de Multi-Token Prediction (MTP). Esta atualização aborda problemas que afetam as arquiteturas deepseek2, glm4moe e cohere2moe.

Corrige a alocação de cache kv de contexto MTP para os modelos deepseek2, glm4moe e cohere2moe.
Adiciona gating de arquitetura inversa e testes abrangentes de arquitetura para filtragem de camadas MTP.
Reduz o comentário do filtro NextN e remove as alterações do test-llama-archs.

O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10908 corrige threads ociosas em kernels iq mul_mv do Metal

O projeto llama.cpp lançou a versão b10908, que inclui uma correção para threads ociosas nos kernels iq mul_mv restantes para ne00 < 1024. Esta alteração generaliza a lógica de divisão de linhas para seis kernels específicos: iq1_s, iq1_m, iq2_xxs, iq2_xs, iq2_s e iq3_s.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10905 ajusta Flash Attention para AMD RDNA4 e revisa a lógica de stream-k

O projeto llama.cpp lançou a compilação b10905, que inclui um ajuste específico do Flash Attention para CUDA/HIP na arquitetura gfx1201. Esta atualização foca em otimizar o desempenho para GPUs AMD RDNA4.

github llama.cpp · há 1 d · 5 visualizações

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.

github llama.cpp · há 2 d · 2 visualizações

llama.cpp b10883 corrige multiplicação de matrizes Vulkan e restaura otimizações Ampere

O projeto llama.cpp lançou a compilação b10883, que inclui atualizações significativas no backend Vulkan. A principal alteração envolve o uso de constantes de especificação para operações de multiplicação matriz-matriz tipo A para melhorar a compilação e o desempenho dos shaders.