github llama.cpp · há 17 h · inference

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

Traduzido do English → Português (BR)

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

A atualização também corrige a conversão do rascunho DFlash contra alvos HunYuan, resolvendo duas falhas específicas: um AttributeError causado pelo tratamento de vocabulário não vinculado e pesquisas de configuração que liam incorretamente parâmetros de rascunho em vez das configurações alvo. Essas correções garantem que a conversão dos rascunhos DFlash tencent/HunyuanOCR seja bem-sucedida para os checkpoints das versões 1.5 e v1.0, sem alterar as conversões do modelo base.

Essas alterações permitem a decodificação especulativa eficiente para modelos baseados em Hunyuan no llama.cpp, melhorando a velocidade de inferência enquanto mantém a fidelidade da saída.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artigos relacionados

lab Hugging Face Blog · há 20 h · 10 visualizações

Transformers adiciona suporte a GGUF por meio de kernels ggml para inferência local

A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.

github llama.cpp · há 4 d · 21 visualizações

llama.cpp b11046 adiciona suporte para OpenCL ao kernel flash_attn_f32_f16_bin

O projeto llama.cpp lançou a versão b11046, que introduz suporte para OpenCL no kernel `flash_attn_f32_f16_bin`. Esta atualização também inclui funcionalidade de pré-preenchimento protegido para Flash Attention em dispositivos OpenCL.

github llama.cpp · há 6 d · 15 visualizações

llama.cpp b11019 corrige alinhamento de dados do GGUF para arquivos embutidos e adiciona carregamento de LoRA

O projeto llama.cpp lançou a versão b11019, corrigindo um bug crítico em que arquivos GGUF embutidos em deslocamentos não alinhados retornavam dados de tensor incorretos. A atualização alinha a seção de dados do GGUF em relação ao início do arquivo, em vez do deslocamento 0, garantindo o carregamento correto de modelos embutidos.

github llama.cpp · há 7 d · 20 visualizações

llama.cpp b11006 adiciona suporte Hexagon para K-Quants Q4_K e Q6_K

O projeto llama.cpp lançou a versão b11006, introduzindo suporte para processadores Qualcomm Hexagon para lidar com formatos de K-Quantization. Esta atualização implementa kernels específicos para os níveis de quantização Q4_K e Q6_K na arquitetura Hexagon.

github llama.cpp · há 8 d · 26 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.