github llama.cpp · há 4 d · inference

llama.cpp b10827 corrige a seleção de pacote de pesos OpenCL para mul_mat q4_K e q5_K

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10827, que inclui uma correção para escolher corretamente o pacote de pesos para operações de multiplicação de matrizes q4_K e q5_K usando OpenCL.

O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL), Android e iOS.
O suporte ao OpenCL Adreno está disponível no Windows arm64, enquanto o KleidiAI permanece desativado para macOS Apple Silicon.
A atualização também inclui uma nova compilação da interface do usuário e links de atestação para verificação.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b10840 adiciona descompactação sem ramificação Q4_K/Q5_K e prefetch L2 para CUDA

O projeto llama.cpp lançou a versão b10840, que introduz otimizações de desempenho para inferência em CUDA. A atualização implementa computação sem ramificação para os formatos de quantização Q4_K e Q5_K para acelerar a multiplicação matriz-vetor (mmvq).

github llama.cpp · há 7 d · 21 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

lab Hugging Face Blog · há 9 d · 13 visualizações

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.

github llama.cpp · há 10 d · 19 visualizações

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 12 d · 19 visualizações

llama.cpp habilita GEMM xmem e contorna f32 em blocos em GPUs Adreno

O projeto llama.cpp atualizou seu backend OpenCL para melhorar o desempenho de multiplicação de matrizes em duas gerações de GPUs Adreno. As alterações visam principalmente a geração X2E, ativando por padrão o caminho GEMM xmem F16xF32 e otimizando o tratamento para a geração A7X.