github llama.cpp · há 2 d · inference

llama.cpp habilita GEMM xmem e contorna f32 em blocos em GPUs Adreno

Traduzido do English → Português (BR)

O projeto llama.cpp atualizou seu backend OpenCL para melhorar o desempenho de multiplicação de matrizes em duas gerações de GPUs Adreno. As alterações visam principalmente a geração X2E, ativando por padrão o caminho GEMM xmem F16xF32 e otimizando o tratamento para a geração A7X.

Ativação por padrão do GEMM xmem F16xF32 da Adreno para dispositivos X2E, que anteriormente exigia uma variável de ambiente explícita.
Contorno do GEMM f32 em blocos no compilador Adreno A7X, roteando operações em lote para um kernel por linha para evitar problemas de transbordamento de registradores.
A otimização xmem proporciona um aumento de velocidade de pré-filling de aproximadamente 25% no gpt-oss-20b para dispositivos Adreno X2-90, enquanto o contorno do A7X resulta em melhoria de cerca de 9% no gemma-3n-E4B.

Essas otimizações abordam ineficiências específicas do compilador em silício Adreno mais antigo e mais recente, reduzindo o tempo da GPU gasto em kernels de multiplicação de matrizes lentos durante as fases de pré-filling do modelo.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artigos relacionados

github llama.cpp · há 2 h

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 3 d · 9 visualizações

llama.cpp b10670 roteia a decodificação KV quantizada para TILE no Xe2 (BMG)

O projeto llama.cpp lançou a versão b10670, que inclui uma otimização específica para a arquitetura Xe2 da Intel. A atualização direciona a operação de decodificação de chave-valor (KV) quantizada exclusivamente para o backend TILE em hardware BMG, mantendo o backend VEC em outras arquiteturas até que sejam validadas.

github llama.cpp · há 4 d · 23 visualizações

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 4 d · 15 visualizações

llama.cpp b10653 adiciona TENSOR_READ_LAZY para carregamento de modelos

O projeto llama.cpp lançou a compilação b10653, introduzindo o recurso TENSOR_READ_LAZY em seu carregador de modelos. Esta alteração inclui a adição da função TENSOR_GET_ROW_LAZY e uma flag correspondente --tensor-read-lazy na linha de comando.

github llama.cpp · há 10 d · 12 visualizações

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

O projeto llama.cpp lançou a compilação b10568, que atualiza o tratamento de modelos para usar a função `ggml_rope_set_offset()`. Esta alteração é parcialmente aplicada para suportar o DeepSeek 2.