github llama.cpp · há 1 h · inference

llama.cpp b11333 adiciona suporte a bfloat16 para WebGPU em operações MUL_MAT

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11333, que introduz suporte a bfloat16 para as operações MUL_MAT, MUL_MAT_ID e GET_ROWS dentro de seu backend WebGPU.

Esta atualização está incluída nos binários pré-compilados para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows, Android e openEuler. O lançamento fornece compilações para vários aceleradores de hardware, incluindo CUDA 12 e 13, Vulkan, ROCm 10.0, OpenVINO, SYCL e Snapdragon NPUs.

A adição da precisão bfloat16 a essas operações matriciais específicas do WebGPU permite um cálculo mais eficiente em GPUs compatíveis.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

O projeto llama.cpp lançou a versão b11335, que inclui uma otimização CUDA para GPUs Volta. A atualização direciona a arquitetura sm_70 para a tabela nwarps existente do Turing MMVQ em vez de cair na configuração genérica.

github llama.cpp · há 23 h · 5 visualizações

llama.cpp b11309 otimiza ALLREDUCE do Hexagon com modo scatter seguro

O projeto llama.cpp lançou a versão b11309, que inclui uma otimização chave para o backend do Hexagon. Esta atualização adiciona suporte ao modo scatter seguro à operação ALLREDUCE, visando melhorar o desempenho e a estabilidade em dispositivos Qualcomm Snapdragon.

github llama.cpp · há 2 d · 9 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 2 d · 5 visualizações

llama.cpp b11266 carrega a matriz A F32 de 2 em 2 para Vulkan na Intel

O projeto llama.cpp lançou a compilação b11266, que inclui uma otimização do Vulkan que carrega as matrizes A F32 dois elementos por vez quando estão alinhadas a 2. Essa alteração corrige problemas de desempenho no hardware da Intel, onde carregar floats um por um é ineficiente, e também corrige uma validação ausente para o alinhamento de `a_offset` no patch original.

github llama.cpp · há 2 d · 2 visualizações

llama.cpp b11265 corrige seleção de tiles de matmul MOE no Vulkan

O lançamento llama.cpp b11265 inclui uma correção para o tratamento de modelos Mixture of Experts (MoE) pelo backend do Vulkan. A atualização corrige como `mat_mul_id` seleciona os tiles de multiplicação de matrizes, abordando um problema de desempenho onde os workers ficavam ociosos durante o despacho.