github llama.cpp · há 1 h · inference

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.

Acelera operações CUDA conv2d usando GEMM implícito.
Adiciona otimizações de fusão Metal MoE e SSM_CONV.
Permite que o servidor se vincule a múltiplos endereços por meio de endereços TCP separados por vírgula e soquetes UNIX.
Habilita saídas de imagem a partir de chamadas de função adicionando suporte a input_image.
Atualiza ggml para v0.25.0, expandindo o suporte a hiper-conexão e flash-attention em backends.

O lançamento melhora a estabilidade para filhos gerados pelo roteador e corrige vários problemas no parser de chat, garantindo operação mais confiável para usuários que implantam llama.cpp em ambientes de produção.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artigos relacionados

github llama.cpp · há 14 h · 12 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 1 d · 11 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

lab Hugging Face Blog · há 1 d · 14 visualizações

Transformers adiciona suporte a GGUF por meio de kernels ggml para inferência local

A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.

github llama.cpp · há 5 d · 22 visualizações

llama.cpp b11046 adiciona suporte para OpenCL ao kernel flash_attn_f32_f16_bin

O projeto llama.cpp lançou a versão b11046, que introduz suporte para OpenCL no kernel `flash_attn_f32_f16_bin`. Esta atualização também inclui funcionalidade de pré-preenchimento protegido para Flash Attention em dispositivos OpenCL.

github llama.cpp · há 6 d · 18 visualizações

llama.cpp b11019 corrige alinhamento de dados do GGUF para arquivos embutidos e adiciona carregamento de LoRA

O projeto llama.cpp lançou a versão b11019, corrigindo um bug crítico em que arquivos GGUF embutidos em deslocamentos não alinhados retornavam dados de tensor incorretos. A atualização alinha a seção de dados do GGUF em relação ao início do arquivo, em vez do deslocamento 0, garantindo o carregamento correto de modelos embutidos.