github llama.cpp · há 2 h · inference

llama.cpp estende o matmul MMA de poucas linhas para BF16, Q2_K e outros tipos

Traduzido do English → Português (BR)

O projeto llama.cpp expandiu seu genérico kernel de Multiplicação Matricial (MMA) de poucas linhas para suportar tipos de dados de origem adicionais, incluindo BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 e vários tipos IQ. Esta atualização permite que o kernel otimizado manipule qualquer tipo com um desquantizador de peso de 16 linhas, aplicando limiares específicos de contagem de linhas no hardware M3 Ultra onde o desempenho começa a exceder os kernels atuais.

O novo suporte cobre BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 e tipos IQ.
Os limiares de desempenho variam por tipo: 5 linhas para TQ2_0, 4 para BF16, 3 para MXFP4/Q2_0/Q2_K/IQ4_NL e 2 para os demais.
Resultados de benchmark no M3 Ultra mostram razões de desempenho variando de 0.23 a 1.01 dependendo da contagem de linhas e sobreposição do kernel.

Esta alteração melhora a eficiência da inferência para uma faixa mais ampla de formatos de quantização ao aproveitar as capacidades do kernel MMA em baixas contagens de linhas.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artigos relacionados

github llama.cpp · há 3 h · 1 visualização

llama.cpp adiciona suporte ao MTP do GLM5-Next e otimiza o gráfico NextN

O projeto llama.cpp adicionou suporte à cabeça de previsão multi-tokeno (MTP) do GLM5-Next, implementando uma nova estrutura de gráfico para atender às suas necessidades arquitetônicas específicas. Esta atualização inclui otimizações para o bloco NextN, permitindo que ele pule computação inativa durante encaminhamentos sem saída e extraia corretamente as linhas ocultas.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b11463 acelera o prefill do GLM MLA com MKL flash attention

O lançamento llama.cpp b11463 inclui uma atualização SYCL que habilita o MKL flash attention para a forma específica de Multi-Latent Attention (MLA) do GLM-4.7 Flash, que anteriormente era rejeitada pelo despachante.

github llama.cpp · há 2 d · 27 visualizações

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

github llama.cpp · há 7 d · 44 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 10 d · 33 visualizações

llama.cpp b11207 adiciona suporte a GET_ROWS com tiles Q4_0 e Q8_0 para Hexagon

O projeto llama.cpp lançou a compilação b11207, que introduz suporte para operações GET_ROWS com tiles Q4_0 e Q8_0 no backend do Hexagon. Esta atualização também inclui correções em macros, transbordos de registradores e o pipeline DMA, além de melhorias na lógica de seleção de kernels e a reativação da vetorização.