github llama.cpp · há 1 h · inference

llama.cpp b11463 acelera o prefill do GLM MLA com MKL flash attention

Traduzido do English → Português (BR)

O lançamento llama.cpp b11463 inclui uma atualização SYCL que habilita o MKL flash attention para a forma específica de Multi-Latent Attention (MLA) do GLM-4.7 Flash, que anteriormente era rejeitada pelo despachante.

A alteração admite a forma 576/576/512 GQA-20 F16 no pipeline MKL e trata o V cache como uma visão em stride das linhas K.
Uma tentativa de armazenar as pontuações do MKL flash attention em F16 para reduzir o tráfego de memória foi incluída, mas posteriormente revertida nesta compilação.
Em um Intel Arc Pro B70, a otimização MLA melhorou o processamento do prompt (pp8192) de 432.80 para 1292.29 tok/s, uma aceleração de 2.99x.
O lançamento fornece binários para macOS, Linux, Windows, Android e openEuler nos backends CPU, CUDA, ROCm, Vulkan, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

github llama.cpp · há 7 d · 44 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 10 d · 33 visualizações

llama.cpp b11207 adiciona suporte a GET_ROWS com tiles Q4_0 e Q8_0 para Hexagon

O projeto llama.cpp lançou a compilação b11207, que introduz suporte para operações GET_ROWS com tiles Q4_0 e Q8_0 no backend do Hexagon. Esta atualização também inclui correções em macros, transbordos de registradores e o pipeline DMA, além de melhorias na lógica de seleção de kernels e a reativação da vetorização.

github llama.cpp · há 14 d · 47 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

github llama.cpp · há 14 d · 53 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.