github llama.cpp · há 7 h · inference

Lançamento do llama.cpp b11280 reduz sincronização allreduce de tensores com buffers host fixados

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11280, que inclui uma alteração para reduzir a sincronização allreduce de tensores utilizando buffers host fixados.

Esta atualização está disponível em várias plataformas e backends, incluindo macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, SYCL e Snapdragon), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 10.0), Android e iOS.

O lançamento também fornece binários para a interface do llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Ler original

AI Hardware Fit conecta os requisitos de VRAM do modelo à seleção de GPU

O criador do AI Hardware Fit lançou uma ferramenta gratuita e de código aberto para navegador, projetada para ajudar os usuários a determinar se um modelo local cabe na sua GPU e comparar opções de hardware adequadas. A ferramenta aborda a complexidade de juntar arquivos de modelos, quantização, comprimento de contexto e suporte de tempo de execução provenientes de fontes diversas.

github llama.cpp · há 4 d · 8 visualizações

llama.cpp b11203 adiciona suporte de entrada F16 ao FWHT da CUDA

O projeto llama.cpp lançou a versão b11203, que inclui uma alteração no Fast Walsh-Hadamard Transform (FWHT) da CUDA para aceitar entradas F16. Anteriormente, o FWHT da CUDA aceitava apenas entradas F32; esta atualização torna o tipo de origem um parâmetro de modelo para que o kernel leia uma fonte F16 diretamente sem exigir uma cópia convertida.

github llama.cpp · há 5 d · 21 visualizações

llama.cpp corrige falhas de operadores no MTT S5000 e habilita caminhos CUB

O projeto llama.cpp lançou uma correção para falhas de operadores e problemas de compilação no MUSA (MTT S5000), direcionado especificamente à arquitetura PH1. Esta atualização corrige bugs críticos que causavam resultados incorretos ou timeouts neste hardware.

github llama.cpp · há 6 d · 22 visualizações

llama.cpp b11160 adiciona matmul coopmat1 int8 para AMD RDNA3/4 e suporte IQ4_XS

O projeto llama.cpp lançou a versão b11160, introduzindo uma implementação de matriz cooperativa int8 (coopmat1) para Vulkan nas arquiteturas AMD RDNA3 e RDNA4. Esta atualização inclui um shader dedicado que sonda os valores coopmat diretamente para melhorar o desempenho.

github llama.cpp · há 11 d · 24 visualizações

llama.cpp b11059 adiciona suporte a F16 ao kernel FWHT do Metal

O projeto llama.cpp lançou a compilação b11059, que introduz atualizações significativas para o backend Metal em hardware Apple Silicon. A principal alteração é a adição de suporte a entrada F16 ao kernel Fast Walsh-Hadamard Transform (FWHT), permitindo que ele leia fontes F16 diretamente sem exigir uma cópia convertida.