github llama.cpp · há 3 d · inference

llama.cpp b11224 corrige resultados incorretos do mul_mat Vulkan em vistas de cache KV com stride

Traduzido do English → Português (BR)

A versão llama.cpp b11224 aborda resultados de cálculo incorretos no backend Vulkan quando operações de multiplicação de matriz leem fatias de tensores maiores e com stride, como caches KV.

O stride do lote para os tensores src0 e src1 in situ agora é derivado corretamente de nb[2] em vez de ne00*ne01, garantindo o acesso correto às linhas em todas as cabeças.
Os intervalos A e B in situ são dimensionados por sua extensão com stride usando ggml_nbytes ou ggml_vk_subbuffer para evitar ler dados zerados ou travar em hardware NVIDIA sem coopmat2.
Os caminhos mul_mat_id e mul_mm foram atualizados para lidar corretamente com vistas de especialistas com stride e tiles parciais, evitando travamentos em operações NVFP4.

Esta correção garante resultados de inferência precisos para mecanismos de autoatenção do decodificador que dependem de layouts de memória com stride no backend Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 19 h · 2 visualizações

llama.cpp b11266 carrega a matriz A F32 de 2 em 2 para Vulkan na Intel

O projeto llama.cpp lançou a compilação b11266, que inclui uma otimização do Vulkan que carrega as matrizes A F32 dois elementos por vez quando estão alinhadas a 2. Essa alteração corrige problemas de desempenho no hardware da Intel, onde carregar floats um por um é ineficiente, e também corrige uma validação ausente para o alinhamento de `a_offset` no patch original.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b11265 corrige seleção de tiles de matmul MOE no Vulkan

O lançamento llama.cpp b11265 inclui uma correção para o tratamento de modelos Mixture of Experts (MoE) pelo backend do Vulkan. A atualização corrige como `mat_mul_id` seleciona os tiles de multiplicação de matrizes, abordando um problema de desempenho onde os workers ficavam ociosos durante o despacho.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b11238 adiciona ggml_pad_ext para preenchimento à esquerda e ignora taps do DFlash2

O projeto llama.cpp lançou a compilação b11238, introduzindo uma implementação unificada de preenchimento à esquerda por meio da nova função `ggml_pad_ext`. Essa alteração consolida os métodos anteriores usados por codificadores de áudio como Parakeet, LFM2-Audio, Granite Speech e Gemma 4, garantindo embeddings bit a bit idênticos para o Gemma 4 enquanto simplifica o suporte ao backend.

github llama.cpp · há 2 d · 5 visualizações

llama.cpp b11232 habilita flash attention em blocos no x86

O projeto llama.cpp lançou a compilação b11232, que inclui atualizações para o backend ggml-cpu. O lançamento foca em habilitar flash attention em blocos para dimensões de cabeça não múltiplas do vetor em arquiteturas x86.