github llama.cpp · há 1 h · inference

llama.cpp b10291 corrige o agrupamento de submissão do Vulkan e adiciona ferramentas de depuração DeviceLost

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10291, que inclui correções críticas para o backend do Vulkan junto com atualizações padrão da plataforma. As principais alterações técnicas abordam problemas de tamanho do lote de submissão e introduzem novas capacidades de diagnóstico para erros do driver.

Corrige um bug onde o limite de submissão era aplicado tarde demais no pipeline do Vulkan.
Adiciona ferramentas de depuração para fornecer informações mais detalhadas ao diagnosticar erros do driver DeviceLost.
Substitui chamadas abort por exceções throw e implementa macros de log para melhor tratamento de erros.
Limpa dependências circulares dentro da base de código.

Este lançamento melhora a estabilidade para usuários que executam o llama.cpp em hardware habilitado para Vulkan, resolvendo problemas específicos de temporização de submissão e oferecendo melhor visibilidade das causas de falhas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10293 adiciona CI do ROCm para gfx1151 e corrige inferência no RDNA3.5

O projeto llama.cpp lançou a compilação b10293, que inclui a integração contínua da AMD ROCm para a arquitetura gfx1151 e resolve problemas de correção em GPUs integradas com RDNA3.5.

github llama.cpp · há 8 h

llama.cpp b10290 adiciona ggml_build_forward_order para corrigir a execução do gráfico de áudio

O projeto llama.cpp lançou a compilação b10290, introduzindo uma nova função `ggml_build_forward_order` na biblioteca ggml. Esta alteração corrige um bug no gráfico de áudio mtmd onde o uso de `ggml_build_forward_expand` como uma dica de ordenação pura causava a execução de ramos não selecionados com entradas desatualizadas.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10289 endurece file_glob_search e corrige o tratamento de caminhos no Windows

A versão b10289 do llama.cpp endurece a travessia de diretórios do file_glob_search do servidor para prevenir loops infinitos em junctions do Windows e melhora o relatório de erros para diretórios não legíveis.

media Hugging Face Forums · há 13 h · 1 visualização

QuantCheck alerta contra assumir que o checkpoint final é o melhor para quantização de 4 bits

Uma nova ferramenta chamada QuantCheck destaca que o checkpoint final do pré-treinamento pode não ser a escolha ideal para a quantização de 4 bits, pois os benchmarks podem permanecer planos enquanto a fragilidade aumenta. O autor observou esse padrão no Pythia-160m, onde o checkpoint final sofreu aproximadamente quatro vezes mais danos à qualidade do que um checkpoint anterior de igual qualidade.

github llama.cpp · há 18 h

llama.cpp b10285 adiciona agrupamento de múltiplas linhas para deepseek-ocr

O projeto llama.cpp lançou a compilação b10285, que introduz suporte para agrupamento de múltiplas linhas no módulo mtmd especificamente para modelos deepseek-ocr. Esta atualização permite que o sistema entrelace as linhas de deepseek-ocr em uma única operação, em vez de processá-las individualmente.