github llama.cpp · agora mesmo · inference

llama.cpp b11335 roteia sm70 para a tabela Turing MMVQ para desempenho no Volta

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11335, que inclui uma otimização CUDA para GPUs Volta. A atualização direciona a arquitetura sm_70 para a tabela nwarps existente do Turing MMVQ em vez de cair na configuração genérica.

Volta (sm_70) agora usa o ajuste TURING para decodificação batch-1 de K-quant, alterando a contagem de warps de 4 para 2.
Benchmarks em uma Tesla V100 com Qwen3.8-27B mostram um aumento de +3.17% na taxa de transferência (+1.091 t/s) com perplexidade idêntica em nível de bits.
A mudança é derivada do fork anyei/llamacpp-v100 e se aplica aos seletores de tabela do dispositivo e do host.

Este ajuste melhora a velocidade de inferência no hardware Volta sem afetar a precisão do modelo.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Ler original

llama.cpp corrige falhas de operadores no MTT S5000 e habilita caminhos CUB

O projeto llama.cpp lançou uma correção para falhas de operadores e problemas de compilação no MUSA (MTT S5000), direcionado especificamente à arquitetura PH1. Esta atualização corrige bugs críticos que causavam resultados incorretos ou timeouts neste hardware.

github llama.cpp · há 7 d · 33 visualizações

llama.cpp b11160 adiciona matmul coopmat1 int8 para AMD RDNA3/4 e suporte IQ4_XS

O projeto llama.cpp lançou a versão b11160, introduzindo uma implementação de matriz cooperativa int8 (coopmat1) para Vulkan nas arquiteturas AMD RDNA3 e RDNA4. Esta atualização inclui um shader dedicado que sonda os valores coopmat diretamente para melhorar o desempenho.

media Hugging Face Forums · há 37 d · 40 visualizações

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

github llama.cpp · há 59 d · 38 visualizações

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

media r/LocalLLaMA · há 88 d · 33 visualizações

llama.cpp usa hipBLAS para pré-preenchimento denso em GPUs gfx900

Um pull request no repositório llama.cpp introduz uma alteração que utiliza hipBLAS para operações de pré-preenchimento denso em GPUs da arquitetura AMD gfx900. Esta modificação é direcionada especificamente ao hardware legado Vega GPU, incluindo modelos como Radeon RX Vega 56/64 e a série Radeon Pro Vega.