github llama.cpp · há 1 h · inference

llama.cpp b11306 corrige aborto de realocação do gráfico ao alternar causal_attn

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11306, que resolve uma falha causada por mudanças na forma do gráfico durante a decodificação. A atualização modifica o tratamento da flag `causal_attn` para evitar falhas de realocação sob restrições específicas de agendamento.

Após a decodificação no dispositivo, `causal_attn` é desativado para metade do ubatch e depois reativado para o restante para garantir contagens consistentes de nós.
Essa alteração impede que o gráfico seja realocado com tamanho inalterado, o que anteriormente interrompia a execução quando `GGML_SCHED_NO_REALLOC` estava ativo.
A correção se aplica a arquiteturas de decodificação, mas é ignorada para arquiteturas de codificação.

A versão inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 10.0) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11301 corrige estouro inteiro em ggml/gguf

O projeto llama.cpp lançou a compilação b11301, que inclui uma correção para um problema de estouro inteiro nos componentes ggml e gguf. Esta atualização aborda a lógica de validação para prevenir erros potenciais ao lidar com tensores de zero elementos.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b11302 corrige corrida de dados do ThreadSanitizer no indexador esparsa

O projeto llama.cpp lançou a compilação b11302, que aborda um problema crítico de concorrência identificado pelo ThreadSanitizer no pipeline de CI. A atualização resolve uma corrida de dados dentro do mecanismo de atenção esparsa onde vários threads da CPU estavam gravando incorretamente nos mesmos elementos de memória.

github llama.cpp · há 3 h · 2 visualizações

llama.cpp b11298 adiciona suporte a dflash para conversão e extração de recursos

O projeto llama.cpp lançou a compilação b11298, que introduz suporte ao formato dflash. Esta atualização permite tanto a conversão de modelos para este formato quanto a capacidade subsequente de extração de recursos.

media Hugging Face Forums · há 3 h · 1 visualização

ThermaCompute AI lança CrashLens para triagem local de logs de falha de GPU

A ThermaCompute AI lançou o CrashLens, uma ferramenta gratuita e local projetada para ajudar engenheiros a investigar falhas de GPU analisando arquivos de log. A ferramenta identifica padrões de falha conhecidos dentro dos logs e sugere etapas específicas para investigação.

github llama.cpp · há 10 h · 2 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.