github llama.cpp · há 5 d · inference

llama.cpp adiciona kernel binário A8 Q8_0 non-MoE dp4a para OpenCL

Traduzido do English → Português (BR)

O projeto llama.cpp adicionou um kernel binário A8 Q8_0 non-MoE dp4a para OpenCL.

A alteração é rastreada como pull request #29439 no repositório ggml-org/llama.cpp.
Introduz suporte para um formato de quantização específico (A8 Q8_0) usando o conjunto de instruções dp4a dentro do backend OpenCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

llama.cpp b11298 adiciona suporte a dflash para conversão e extração de recursos

O projeto llama.cpp lançou a compilação b11298, que introduz suporte ao formato dflash. Esta atualização permite tanto a conversão de modelos para este formato quanto a capacidade subsequente de extração de recursos.

media Hugging Face Forums · há 1 h · 1 visualização Ao vivo

ThermaCompute AI lança CrashLens para triagem local de logs de falha de GPU

A ThermaCompute AI lançou o CrashLens, uma ferramenta gratuita e local projetada para ajudar engenheiros a investigar falhas de GPU analisando arquivos de log. A ferramenta identifica padrões de falha conhecidos dentro dos logs e sugere etapas específicas para investigação.

github llama.cpp · há 7 h · 2 visualizações

llama.cpp b11284 corrige GET_ROWS do OpenVINO em visualizações de pesos quantizados

O projeto llama.cpp lançou a compilação b11284, que inclui uma correção para o backend do OpenVINO para lidar corretamente com operações GET_ROWS em visualizações de pesos quantizados.

github llama.cpp · há 9 h · 1 visualização

Lançamento do llama.cpp b11280 reduz sincronização allreduce de tensores com buffers host fixados

O projeto llama.cpp lançou a versão b11280, que inclui uma alteração para reduzir a sincronização allreduce de tensores utilizando buffers host fixados.

github llama.cpp · há 9 h · 1 visualização

llama.cpp b11282 define CUDA_ARCH para passes de dispositivo MUSA

O projeto llama.cpp lançou a compilação b11282, que inclui uma correção para definir a macro `CUDA_ARCH` para os passes de dispositivo MUSA. Anteriormente, o cabeçalho do fornecedor MUSA não definia essa variável, fazendo com que os testes de arquitetura nas fontes ggml-cuda compartilhadas avaliassem zero e resultassem em corpos de kernel vazios.