github llama.cpp · agora mesmo · inference

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

Otimiza opencl quant lm_head / decode GEMV e GEMM em lotes médios para decodificação especulativa/MTP.
Protege o registro do kernel de conversão tiled_ns q4_K/q6_K para compilações não Adreno.
Direciona a fusão MUL_MAT+GLU q4_K especificamente para hardware Adreno.
Requer o layout de peso noshuffle na porta de fusão GLU q4_K.
Impede o uso do caminho GEMV mrow f16 vetorizado em strides de linha não alinhados.
Habilita o decode GEMV split-K q4_K apenas onde os ganhos de desempenho foram medidos.
Restringe os padrões de GEMV tiled lm_head/embed às arquiteturas X2E/A8X.

O lançamento fornece binários para macOS, iOS, Linux, Windows, Android e openEuler em CPUs, GPUs e vários backends de acelerador.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artigos relacionados

lab Hugging Face Blog · há 2 d · 6 visualizações

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.

github llama.cpp · há 3 d · 10 visualizações

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 5 d · 9 visualizações

llama.cpp habilita GEMM xmem e contorna f32 em blocos em GPUs Adreno

O projeto llama.cpp atualizou seu backend OpenCL para melhorar o desempenho de multiplicação de matrizes em duas gerações de GPUs Adreno. As alterações visam principalmente a geração X2E, ativando por padrão o caminho GEMM xmem F16xF32 e otimizando o tratamento para a geração A7X.

github llama.cpp · há 6 d · 11 visualizações

llama.cpp b10670 roteia a decodificação KV quantizada para TILE no Xe2 (BMG)

O projeto llama.cpp lançou a versão b10670, que inclui uma otimização específica para a arquitetura Xe2 da Intel. A atualização direciona a operação de decodificação de chave-valor (KV) quantizada exclusivamente para o backend TILE em hardware BMG, mantendo o backend VEC em outras arquiteturas até que sejam validadas.

github llama.cpp · há 7 d · 30 visualizações

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.