github llama.cpp · agora mesmo · inference

llama.cpp corrige falhas de operadores no MTT S5000 e habilita caminhos CUB

Traduzido do English → Português (BR)

O projeto llama.cpp lançou uma correção para falhas de operadores e problemas de compilação no MUSA (MTT S5000), direcionado especificamente à arquitetura PH1. Esta atualização corrige bugs críticos que causavam resultados incorretos ou timeouts neste hardware.

Corrige o desempenho do FlashAttention corrigindo a derivação da largura de cópia de 16 bytes para alvos sm_70+.
Habilita caminhos CUB no MUSA, removendo limites nas operações ARGSORT e TOP_K.
Resolve defeitos do MMQ que causavam falhas em matmul quantizado ao mudar para o caminho cuBLAS/dequant.
Corrige travamentos do kernel fused TOPK_MOE garantindo que as barreiras de bloco sejam alcançáveis para todos os warps.
Habilita suporte ao operador GATED_DELTA_NET, melhorando significativamente a taxa de transferência de prefill e decode.

Essas alterações restauram a funcionalidade completa e melhoram o desempenho para usuários do MTT S5000 que executam modelos como Qwen3.8-27B.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Ler original

llama.cpp b11160 adiciona matmul coopmat1 int8 para AMD RDNA3/4 e suporte IQ4_XS

O projeto llama.cpp lançou a versão b11160, introduzindo uma implementação de matriz cooperativa int8 (coopmat1) para Vulkan nas arquiteturas AMD RDNA3 e RDNA4. Esta atualização inclui um shader dedicado que sonda os valores coopmat diretamente para melhorar o desempenho.

media Hugging Face Forums · há 30 d · 39 visualizações

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

github llama.cpp · há 52 d · 35 visualizações

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

media r/LocalLLaMA · há 82 d · 29 visualizações

llama.cpp usa hipBLAS para pré-preenchimento denso em GPUs gfx900

Um pull request no repositório llama.cpp introduz uma alteração que utiliza hipBLAS para operações de pré-preenchimento denso em GPUs da arquitetura AMD gfx900. Esta modificação é direcionada especificamente ao hardware legado Vega GPU, incluindo modelos como Radeon RX Vega 56/64 e a série Radeon Pro Vega.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b11158 habilita suporte a matrizes cooperativas KHR para GPUs Adreno

O projeto llama.cpp lançou a compilação b11158, que inclui um ajuste do suporte a matrizes cooperativas KHR especificamente para GPUs Adreno por meio do backend Vulkan.