github llama.cpp · há 1 h · inference

llama.cpp b10290 adiciona ggml_build_forward_order para corrigir a execução do gráfico de áudio

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10290, introduzindo uma nova função `ggml_build_forward_order` na biblioteca ggml. Esta alteração corrige um bug no gráfico de áudio mtmd onde o uso de `ggml_build_forward_expand` como uma dica de ordenação pura causava a execução de ramos não selecionados com entradas desatualizadas.

O método anterior forçava o cálculo em ramos não selecionados, levando a falhas de asserção de limite `get_rows` na CPU devido a dados `inp_code0` desatualizados.
A nova função insere nós sem a flag de computação, restaurando-a apenas quando o ramo é realmente selecionado.
A compilação b10290 fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler.
Um XCFramework para iOS e uma compilação de UI standalone também estão incluídos no lançamento.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10289 endurece file_glob_search e corrige o tratamento de caminhos no Windows

A versão b10289 do llama.cpp endurece a travessia de diretórios do file_glob_search do servidor para prevenir loops infinitos em junctions do Windows e melhora o relatório de erros para diretórios não legíveis.

media Hugging Face Forums · há 6 h

QuantCheck alerta contra assumir que o checkpoint final é o melhor para quantização de 4 bits

Uma nova ferramenta chamada QuantCheck destaca que o checkpoint final do pré-treinamento pode não ser a escolha ideal para a quantização de 4 bits, pois os benchmarks podem permanecer planos enquanto a fragilidade aumenta. O autor observou esse padrão no Pythia-160m, onde o checkpoint final sofreu aproximadamente quatro vezes mais danos à qualidade do que um checkpoint anterior de igual qualidade.

github llama.cpp · há 11 h

llama.cpp b10285 adiciona agrupamento de múltiplas linhas para deepseek-ocr

O projeto llama.cpp lançou a compilação b10285, que introduz suporte para agrupamento de múltiplas linhas no módulo mtmd especificamente para modelos deepseek-ocr. Esta atualização permite que o sistema entrelace as linhas de deepseek-ocr em uma única operação, em vez de processá-las individualmente.

github llama.cpp · há 13 h

llama.cpp b10282 adiciona contadores de spec-decode ao endpoint /metrics

O projeto llama.cpp lançou a versão b10282, que introduz novas capacidades de monitoramento para decodificação especulativa. O servidor agora inclui contadores de spec-decode em seu endpoint /metrics, permitindo que os usuários acompanhem as métricas de desempenho relacionadas a este recurso.

github llama.cpp · há 1 d

llama.cpp b10275 decodifica saída OEM do Windows para UTF-8 em ferramentas integradas

O projeto llama.cpp lançou a compilação b10275, que corrige um problema de codificação de caracteres no Windows onde caracteres acentuados eram perdidos silenciosamente. A atualização garante que o texto de processos filhos escrevendo na página de códigos OEM seja decodificado corretamente para UTF-8 antes de alcançar a camada JSON.