github llama.cpp · há 9 h · inference

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

Traduzido do English → Português (BR)

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

Suporte inicial ao MTP foi adicionado, embora removido no pull request inicial para permitir uma revisão focada.
O layout do k-pool agora é mantido entre ubatches para evitar desatualização após edições de sequência e desmontagens compartilhadas.
Checkpoints de rollback recorrente são escritos corretamente para o estado conv e o estado delta net.
Um bug no stride do stream build_attn_mha foi corrigido para consultas não contíguas, garantindo o prefill multi-stream correto para GLM5-Next.
Os filtros de proteção de quantização foram limpos para remover entradas duplicadas.

Essas alterações garantem inferência estável e gerenciamento correto de estado para modelos GLM5-Next em vários backends de hardware, incluindo CUDA, ROCm e CPU.

Importância 1/3 Confiança 1/3 llama.cpp Zhipu AI Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b11207 adiciona suporte a GET_ROWS com tiles Q4_0 e Q8_0 para Hexagon

O projeto llama.cpp lançou a compilação b11207, que introduz suporte para operações GET_ROWS com tiles Q4_0 e Q8_0 no backend do Hexagon. Esta atualização também inclui correções em macros, transbordos de registradores e o pipeline DMA, além de melhorias na lógica de seleção de kernels e a reativação da vetorização.

github llama.cpp · há 7 d · 17 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

github llama.cpp · há 7 d · 22 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 8 d · 22 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

lab Hugging Face Blog · há 8 d · 24 visualizações

Transformers adiciona suporte a GGUF por meio de kernels ggml para inferência local

A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.