github llama.cpp · há 1 h · inference

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

Traduzido do English → Português (BR)

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

Os tipos KV suportados incluem Q4_0, Q4_1, Q5_0, Q5_1, Q8_0 e F32, enquanto BF16 e tipos IQ são excluídos devido à falta de kernels de conversão.
O suporte não-FP16 é condicionado aos requisitos de K >= 1024 e Q >= 32 durante a fase de prefill.
O lançamento inclui uma correção de sincronização de stream que garante o comportamento incondicional de wait_and_throw e remove o aliasing V_is_K_view para garantir que K e V sejam sempre desquantizados para buffers separados.
Binários estão disponíveis para macOS, Linux, Windows, Android e openEuler em CPUs, GPUs (CUDA, Vulkan, ROCm, OpenCL) e backends especializados como SYCL e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Artigos relacionados

media r/LocalLLaMA · há 30 d

llama.cpp usa hipBLAS para pré-preenchimento denso em GPUs gfx900

Um pull request no repositório llama.cpp introduz uma alteração que utiliza hipBLAS para operações de pré-preenchimento denso em GPUs da arquitetura AMD gfx900. Esta modificação é direcionada especificamente ao hardware legado Vega GPU, incluindo modelos como Radeon RX Vega 56/64 e a série Radeon Pro Vega.

github llama.cpp · há 7 h

llama.cpp b10246 roteia grandes lm_head q6_K para GEMV plano

O projeto llama.cpp lançou a versão b10246, que inclui uma correção para o desempenho do OpenCL em configurações específicas de modelos. A atualização aborda um problema onde a condição de dimensão original era insuficiente para lidar com grandes pesos.

github llama.cpp · há 1 d · 6 visualizações

llama.cpp b10236 implementa o Metal DSv4 Lightning Indexer

A versão llama.cpp b10236 introduz uma implementação de Metal do DSv4 Lightning Indexer, suportando especificamente entradas de 128 dimensões com consultas e pesos F32 junto com chaves e máscaras F16.

github llama.cpp · há 4 d · 8 visualizações

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

media r/LocalLLaMA · há 5 d

Lucebox e AMD superam Nvidia DGX Spark em 3.63x no DeepSeek V4 Flash

A Lucebox se associou à AMD para demonstrar uma configuração de hardware heterogênea para consumidores que supera a Nvidia DGX Spark em velocidade de inferência. O sistema combina uma GPU AMD Radeon AI PRO R9700 com um processador Strix Halo para executar o modelo completo DeepSeek V4 Flash de 284B.