github llama.cpp · há 2 h · inference

llama.cpp b11413 adiciona atenção flash esparsa do Vulkan para K/V quantizados

Traduzido do English → Português (BR)

O lançamento b11413 do llama.cpp introduz uma nova implementação de atenção flash esparsa em Vulkan que suporta tensores de Chave e Valor quantizados. Esta atualização aborda problemas de desempenho no método anterior de compactação, que era muito custoso para tarefas de decodificação com janelas de contexto grandes.

A nova abordagem divide as linhas em segmentos contíguos processados por subgrupos ou threads, usando contagem de votos sobre carregamentos coalescidos para manter uma lista de índices ascendente.
Binários pré-compilados estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, Vulkan, CUDA, OpenVINO, SYCL, ROCm), Android e iOS.
O lançamento também inclui a interface do usuário do llama.cpp e atestações para verificação de segurança.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 8 d · 30 visualizações

llama.cpp b11207 adiciona suporte a GET_ROWS com tiles Q4_0 e Q8_0 para Hexagon

O projeto llama.cpp lançou a compilação b11207, que introduz suporte para operações GET_ROWS com tiles Q4_0 e Q8_0 no backend do Hexagon. Esta atualização também inclui correções em macros, transbordos de registradores e o pipeline DMA, além de melhorias na lógica de seleção de kernels e a reativação da vetorização.

github llama.cpp · há 12 d · 30 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

github llama.cpp · há 12 d · 41 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 13 d · 37 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.