github llama.cpp · há 3 d · inference

llama.cpp b10840 adiciona descompactação sem ramificação Q4_K/Q5_K e prefetch L2 para CUDA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10840, que introduz otimizações de desempenho para inferência em CUDA. A atualização implementa computação sem ramificação para os formatos de quantização Q4_K e Q5_K para acelerar a multiplicação matriz-vetor (mmvq).

A descompactação sem ramificação evita a reexecução da escala para cada coluna em mmvq, melhorando o desempenho em tamanhos de lote maiores que 1.
A lógica de prefetch L2 é condicionada especificamente para hardware DGX Spark para garantir que os ganhos sejam realizados.
O guardiã do prefetch L2 do mmvq é estendida para suportar backends MUSA e HIP junto com CUDA.
Os pontos de troca para Q4_K são atualizados para acomodar uma faixa mais ampla de modelos.

Essas mudanças fornecem melhorias de desempenho mensuráveis para usuários executando llama.cpp em sistemas DGX Spark com tamanhos de lote superiores a um.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b10827 corrige a seleção de pacote de pesos OpenCL para mul_mat q4_K e q5_K

O projeto llama.cpp lançou a versão b10827, que inclui uma correção para escolher corretamente o pacote de pesos para operações de multiplicação de matrizes q4_K e q5_K usando OpenCL.

github llama.cpp · há 7 d · 21 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

lab Hugging Face Blog · há 9 d · 13 visualizações

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.

github llama.cpp · há 10 d · 19 visualizações

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 12 d · 19 visualizações

llama.cpp habilita GEMM xmem e contorna f32 em blocos em GPUs Adreno

O projeto llama.cpp atualizou seu backend OpenCL para melhorar o desempenho de multiplicação de matrizes em duas gerações de GPUs Adreno. As alterações visam principalmente a geração X2E, ativando por padrão o caminho GEMM xmem F16xF32 e otimizando o tratamento para a geração A7X.