github llama.cpp · agora mesmo · inference

llama.cpp b11006 adiciona suporte Hexagon para K-Quants Q4_K e Q6_K

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11006, introduzindo suporte para processadores Qualcomm Hexagon para lidar com formatos de K-Quantization. Esta atualização implementa kernels específicos para os níveis de quantização Q4_K e Q6_K na arquitetura Hexagon.

Implementação dos kernels q6k e q4k para DSPs do Hexagon.
Precisão de descompactação melhorada para o kernel hex-q6k.
Adicionado suporte para kernels Q4_K em hardware Hexagon.

O lançamento fornece binários pré-compilados para macOS, Linux, Windows, Android e openEuler através de vários backends de CPU e GPU incluindo CUDA, ROCm, Vulkan e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

github llama.cpp · há 9 d · 21 visualizações

llama.cpp b10840 adiciona descompactação sem ramificação Q4_K/Q5_K e prefetch L2 para CUDA

O projeto llama.cpp lançou a versão b10840, que introduz otimizações de desempenho para inferência em CUDA. A atualização implementa computação sem ramificação para os formatos de quantização Q4_K e Q5_K para acelerar a multiplicação matriz-vetor (mmvq).

github llama.cpp · há 10 d · 21 visualizações

llama.cpp b10827 corrige a seleção de pacote de pesos OpenCL para mul_mat q4_K e q5_K

O projeto llama.cpp lançou a versão b10827, que inclui uma correção para escolher corretamente o pacote de pesos para operações de multiplicação de matrizes q4_K e q5_K usando OpenCL.

github llama.cpp · há 13 d · 28 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

lab Hugging Face Blog · há 15 d · 20 visualizações

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.