github llama.cpp · há 1 h · inference

llama.cpp b10798 torna configurável o fluxo de saída de informações de compilação

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10798, introduzindo uma alteração para tornar o fluxo de saída das informações de compilação configurável. Esta atualização permite que `llama_print_build_info` escreva em um FILE* fornecido pelo chamador, em vez de codificar fixamente stderr.

O parâmetro padrão é stderr, portanto, os chamadores existentes mantêm seu comportamento atual.
O comando de versão no llama-app agora passa stdout, garantindo que a saída de versão simples vá para o local esperado.

Esta alteração melhora a flexibilidade para desenvolvedores que precisam redirecionar programáticamente a saída das informações de compilação.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10796 adiciona n_expert_used_max para corrigir o carregamento do Nemotron-3-Puzzle

O projeto llama.cpp lançou a compilação b10796, que inclui uma alteração no carregador de modelos para suportar modelos com diferentes números de especialistas por camada.

arxiv arXiv cs.LG · há 11 h · 1 visualização

FlashAttention-4 introduz Direct-P para inferência e treinamento de FP4 com consciência de hardware

O FlashAttention-4 aborda as limitações de desempenho dos núcleos de tensores de ponto flutuante de 4 bits (FP4) do Blackwell, introduzindo novos caminhos para inferência não causal e treinamento causal. O método, chamado Direct-P, mapeia escores diretamente para probabilidades FP4 para contornar os custos de conversão de softmax que normalmente dominam quando os produtos matriciais diminuem.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10795 funde operações SYCL

O projeto llama.cpp lançou a versão b10795, que inclui uma nova otimização para o backend SYCL. Esta atualização permite a fusão das cadeias RMS_NORM+MUL+ADD e ADD+ADD residual sob a flag GGML_SYCL_ENABLE_FUSION.

github llama.cpp · há 17 h · 3 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 18 h · 1 visualização

llama.cpp b10792 corrige a geração de gramática GBNF para esquemas de objetos vazios

O projeto llama.cpp lançou a compilação b10792, que inclui uma correção para a geração de gramática GBNF abordando especificamente problemas com esquemas de objetos vazios.