github llama.cpp · agora mesmo · inference

llama.cpp b11160 adiciona matmul coopmat1 int8 para AMD RDNA3/4 e suporte IQ4_XS

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11160, introduzindo uma implementação de matriz cooperativa int8 (coopmat1) para Vulkan nas arquiteturas AMD RDNA3 e RDNA4. Esta atualização inclui um shader dedicado que sonda os valores coopmat diretamente para melhorar o desempenho.

Adiciona suporte à quantização IQ4_XS ao shader de matmul inteiro mul_mmq_cm1.
Implementa aplicação de escala inline, somas escalares e double buffering para o backend Vulkan.
Suporta as quantizações q8_0, q4_1, q5_0, q5_1, iq4_nl, mxfp4, q3_k, q4_k, q5_k, q6_k e nvfp4.
Inclui binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, ROCm, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Ler original

EdgeFirst publica pipeline em Rust para validação de modelos YOLO em 20 plataformas de borda

A EdgeFirst publicou o EdgeFirst Model Zoo no Hugging Face, apresentando os modelos YOLOv5, YOLOv8, YOLO11 e YOLO26 validados em 20 plataformas de borda distintas. A validação depende de um único pipeline em Rust que realiza pré-processamento DMA sem cópia, decodificação do modelo e pós-processamento diretamente no hardware alvo.

github llama.cpp · há 51 d · 35 visualizações

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

media r/LocalLLaMA · há 81 d · 29 visualizações

llama.cpp usa hipBLAS para pré-preenchimento denso em GPUs gfx900

Um pull request no repositório llama.cpp introduz uma alteração que utiliza hipBLAS para operações de pré-preenchimento denso em GPUs da arquitetura AMD gfx900. Esta modificação é direcionada especificamente ao hardware legado Vega GPU, incluindo modelos como Radeon RX Vega 56/64 e a série Radeon Pro Vega.

github llama.cpp · há 4 h · 2 visualizações

llama.cpp b11158 habilita suporte a matrizes cooperativas KHR para GPUs Adreno

O projeto llama.cpp lançou a compilação b11158, que inclui um ajuste do suporte a matrizes cooperativas KHR especificamente para GPUs Adreno por meio do backend Vulkan.

github llama.cpp · há 18 h · 3 visualizações

llama.cpp v0.5.0 adiciona suporte a HRM-Text, aceleração CUDA conv2d e vinculação multi-endereço

O projeto llama.cpp lançou a versão 0.5.0, focando em desempenho do backend, cobertura mais ampla de modelos e operação de servidor mais robusta. Esta atualização introduz suporte para novas arquiteturas como HRM-Text (DFM Mimir 1B) e MiMo-V2.6, enquanto melhora significativamente a eficiência computacional por meio de otimizações CUDA e Metal.