github llama.cpp · há 19 h · inference

llama.cpp b11266 carrega a matriz A F32 de 2 em 2 para Vulkan na Intel

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11266, que inclui uma otimização do Vulkan que carrega as matrizes A F32 dois elementos por vez quando estão alinhadas a 2. Essa alteração corrige problemas de desempenho no hardware da Intel, onde carregar floats um por um é ineficiente, e também corrige uma validação ausente para o alinhamento de `a_offset` no patch original.

A modificação aproveita a lógica de carregamento já existente em 2-alinhamento em `mul_mat_vec` para melhorar a taxa de transferência nas arquiteturas BMG da Intel.
Os resultados de benchmark em uma B60 da Intel mostram aceleramentos significativos para formas específicas de multiplicação de matrizes, com o desempenho aumentando de 153,08 GFLOPS para 221,66 GFLOPS em um caso de teste e até 1,63 TFLOPS em outro.
A versão fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows e openEuler.

Esta atualização melhora o desempenho de inferência em GPUs da Intel usando o backend Vulkan ao otimizar os padrões de acesso à memória para operações de matriz de ponto flutuante.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Artigos relacionados

github llama.cpp · há 10 h · 2 visualizações

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 21 h · 1 visualização

llama.cpp b11265 corrige seleção de tiles de matmul MOE no Vulkan

O lançamento llama.cpp b11265 inclui uma correção para o tratamento de modelos Mixture of Experts (MoE) pelo backend do Vulkan. A atualização corrige como `mat_mul_id` seleciona os tiles de multiplicação de matrizes, abordando um problema de desempenho onde os workers ficavam ociosos durante o despacho.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b11238 adiciona ggml_pad_ext para preenchimento à esquerda e ignora taps do DFlash2

O projeto llama.cpp lançou a compilação b11238, introduzindo uma implementação unificada de preenchimento à esquerda por meio da nova função `ggml_pad_ext`. Essa alteração consolida os métodos anteriores usados por codificadores de áudio como Parakeet, LFM2-Audio, Granite Speech e Gemma 4, garantindo embeddings bit a bit idênticos para o Gemma 4 enquanto simplifica o suporte ao backend.

github llama.cpp · há 2 d · 5 visualizações

llama.cpp b11232 habilita flash attention em blocos no x86

O projeto llama.cpp lançou a compilação b11232, que inclui atualizações para o backend ggml-cpu. O lançamento foca em habilitar flash attention em blocos para dimensões de cabeça não múltiplas do vetor em arquiteturas x86.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b11228 adiciona suporte a preenchimento esquerdo e circular no GGML_OP_PAD do Metal

A versão llama.cpp b11228 introduz suporte para preenchimento esquerdo e circular na operação GGML_OP_PAD do backend do Metal, alinhando-a com as implementações de CPU, CUDA e Vulkan. Essa correção resolve problemas de preenchimento à direita em fontes permutadas e garante comportamento consistente entre diferentes backends de hardware.