github llama.cpp · há 3 d · inference

llama.cpp adiciona analisador Ling 3.0 para corrigir o tratamento de chamadas de ferramentas

Traduzido do English → Português (BR)

O projeto llama.cpp introduziu um analisador dedicado para o modelo de chat Ling 3.0 (Bailing V3) no pull request #28682. Esta alteração aborda problemas em que os blocos de pensamento pré-abertos do modelo faziam com que as chamadas de ferramentas fossem classificadas incorretamente como conteúdo de raciocínio, levando a falhas nos loops de agentes.

O novo analisador termina o raciocínio na tag think de fechamento ou no início da tag de chamada de ferramenta, espelhando o comportamento no vLLM e SGLang. Ele inclui testes abrangentes para blocos think não fechados, chamadas paralelas e vários tipos de argumentos.

Esta atualização garante que os clientes recebam corretamente as chamadas de ferramentas em vez de conteúdo vazio, permitindo que os loops de agentes funcionem corretamente com modelos Ling 3.0.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 14 h · 11 visualizações

llama.cpp b11111 adiciona kernels de otimização flash attention para Intel Xe

O projeto llama.cpp lançou a compilação b11111, que introduz kernels de otimização flash attention baseados em Vulkan para caminhos split k nas arquiteturas Xe-LPG Plus, Xe2 e Xe3.

github llama.cpp · há 17 h · 9 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

github llama.cpp · há 20 h · 11 visualizações

lançamento b11101 do llama.cpp permite chamadas repetidas de find_package para llama

O projeto llama.cpp lançou a versão b11101, que inclui uma correção no sistema de compilação permitindo chamadas repetidas de find_package para a biblioteca llama.

lab Hugging Face Blog · há 21 h · 10 visualizações

Transformers adiciona suporte a GGUF por meio de kernels ggml para inferência local

A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.