github llama.cpp · há 2 d · inference

llama.cpp b11232 habilita flash attention em blocos no x86

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11232, que inclui atualizações para o backend ggml-cpu. O lançamento foca em habilitar flash attention em blocos para dimensões de cabeça não múltiplas do vetor em arquiteturas x86.

Habilitado flash attention em blocos para dimensões de cabeça não múltiplas do vetor no x86.
Adicionado suporte AVX2 para carregamento e armazenamento mascarado em simd_gemm_ukernel_tail.
Corrigido o tratamento de softcap FA para tiles KV preenchidos.

Esta atualização fornece binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, GPU e NPU.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 19 h · 2 visualizações

llama.cpp b11266 carrega a matriz A F32 de 2 em 2 para Vulkan na Intel

O projeto llama.cpp lançou a compilação b11266, que inclui uma otimização do Vulkan que carrega as matrizes A F32 dois elementos por vez quando estão alinhadas a 2. Essa alteração corrige problemas de desempenho no hardware da Intel, onde carregar floats um por um é ineficiente, e também corrige uma validação ausente para o alinhamento de `a_offset` no patch original.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b11265 corrige seleção de tiles de matmul MOE no Vulkan

O lançamento llama.cpp b11265 inclui uma correção para o tratamento de modelos Mixture of Experts (MoE) pelo backend do Vulkan. A atualização corrige como `mat_mul_id` seleciona os tiles de multiplicação de matrizes, abordando um problema de desempenho onde os workers ficavam ociosos durante o despacho.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b11238 adiciona ggml_pad_ext para preenchimento à esquerda e ignora taps do DFlash2

O projeto llama.cpp lançou a compilação b11238, introduzindo uma implementação unificada de preenchimento à esquerda por meio da nova função `ggml_pad_ext`. Essa alteração consolida os métodos anteriores usados por codificadores de áudio como Parakeet, LFM2-Audio, Granite Speech e Gemma 4, garantindo embeddings bit a bit idênticos para o Gemma 4 enquanto simplifica o suporte ao backend.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b11228 adiciona suporte a preenchimento esquerdo e circular no GGML_OP_PAD do Metal

A versão llama.cpp b11228 introduz suporte para preenchimento esquerdo e circular na operação GGML_OP_PAD do backend do Metal, alinhando-a com as implementações de CPU, CUDA e Vulkan. Essa correção resolve problemas de preenchimento à direita em fontes permutadas e garante comportamento consistente entre diferentes backends de hardware.