github llama.cpp · há 4 d · inference

llama.cpp b11207 adiciona suporte a GET_ROWS com tiles Q4_0 e Q8_0 para Hexagon

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11207, que introduz suporte para operações GET_ROWS com tiles Q4_0 e Q8_0 no backend do Hexagon. Esta atualização também inclui correções em macros, transbordos de registradores e o pipeline DMA, além de melhorias na lógica de seleção de kernels e a reativação da vetorização.

Adicionado suporte a GET_ROWS com tiles Q4_0 e Q8_0 para Hexagon usando desquantização HVX com tiles.
Corrigidos macros e transbordos de registradores em hex-get-rows enquanto se limpavam verificações de operações não suportadas.
Melhorado o pipeline DMA e simplificada a lógica de seleção de kernels.
Reativado o vetorizador após uma regressão ter sido identificada durante uma atualização do sampler.

O lançamento fornece binários para macOS, Linux, Windows, Android e openEuler em vários backends de hardware incluindo CPU, GPU, NPU, CUDA, ROCm, Vulkan, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp adiciona suporte para GLM-5.3-Flash com correções de k-pool e MTP

O projeto llama.cpp adicionou suporte inicial para a arquitetura do modelo GLM-5.3-Flash (GLM5-Next), incluindo migração para memória de índice híbrido e capacidades iniciais de Multi-Token Prediction (MTP).

github llama.cpp · há 7 d · 17 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

github llama.cpp · há 7 d · 22 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 8 d · 22 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

lab Hugging Face Blog · há 8 d · 24 visualizações

Transformers adiciona suporte a GGUF por meio de kernels ggml para inferência local

A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.