github llama.cpp · há 4 d · inference

llama.cpp b11203 adiciona suporte de entrada F16 ao FWHT da CUDA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11203, que inclui uma alteração no Fast Walsh-Hadamard Transform (FWHT) da CUDA para aceitar entradas F16. Anteriormente, o FWHT da CUDA aceitava apenas entradas F32; esta atualização torna o tipo de origem um parâmetro de modelo para que o kernel leia uma fonte F16 diretamente sem exigir uma cópia convertida.

A implementação garante que `supports_op` e a chamada de despacho compartilhem um único predicado verificando condições de contiguidade e forma, fechando uma lacuna onde incompatibilidades poderiam causar falhas de asserção. Test-backend-ops em uma GPU A10 passou todos os 1297 testes MUL_MAT, incluindo 6 novos casos de Hadamard F16 junto com os existentes F32.

Este lançamento fornece binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL e Snapdragon.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

ThermaCompute AI lança CrashLens para triagem local de logs de falha de GPU

A ThermaCompute AI lançou o CrashLens, uma ferramenta gratuita e local projetada para ajudar engenheiros a investigar falhas de GPU analisando arquivos de log. A ferramenta identifica padrões de falha conhecidos dentro dos logs e sugere etapas específicas para investigação.

github llama.cpp · há 8 h · 1 visualização

Lançamento do llama.cpp b11280 reduz sincronização allreduce de tensores com buffers host fixados

O projeto llama.cpp lançou a versão b11280, que inclui uma alteração para reduzir a sincronização allreduce de tensores utilizando buffers host fixados.

media Hugging Face Forums · há 18 h · 1 visualização

AI Hardware Fit conecta os requisitos de VRAM do modelo à seleção de GPU

O criador do AI Hardware Fit lançou uma ferramenta gratuita e de código aberto para navegador, projetada para ajudar os usuários a determinar se um modelo local cabe na sua GPU e comparar opções de hardware adequadas. A ferramenta aborda a complexidade de juntar arquivos de modelos, quantização, comprimento de contexto e suporte de tempo de execução provenientes de fontes diversas.

github llama.cpp · há 5 d · 21 visualizações

llama.cpp corrige falhas de operadores no MTT S5000 e habilita caminhos CUB

O projeto llama.cpp lançou uma correção para falhas de operadores e problemas de compilação no MUSA (MTT S5000), direcionado especificamente à arquitetura PH1. Esta atualização corrige bugs críticos que causavam resultados incorretos ou timeouts neste hardware.

github llama.cpp · há 6 d · 22 visualizações

llama.cpp b11160 adiciona matmul coopmat1 int8 para AMD RDNA3/4 e suporte IQ4_XS

O projeto llama.cpp lançou a versão b11160, introduzindo uma implementação de matriz cooperativa int8 (coopmat1) para Vulkan nas arquiteturas AMD RDNA3 e RDNA4. Esta atualização inclui um shader dedicado que sonda os valores coopmat diretamente para melhorar o desempenho.