github llama.cpp · há 1 h · inference

llama.cpp b10534 adiciona pontos de troca por HW CUDA para decodificação mais rápida

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10534, que introduz pontos de troca específicos de hardware para ajustar a transição entre caminhos de vetor e núcleos de tensor durante a decodificação quantizada no CUDA.

O lançamento adiciona configuração em tempo de execução via GGML_CUDA_MMVQ_MAX para ajustar o limite do tamanho do lote onde o kernel muda de mul_mat_vec_q para MMQ.
Valores específicos dos pontos de troca agora estão incluídos para as arquiteturas Blackwell, DGX Spark e Ada, reduzindo a dependência de variáveis de ambiente.

Reduzir esse limite direciona lotes maiores para o caminho do núcleo de tensor int8 MMQ, resultando em um aumento de velocidade medido de 23-41% no tamanho do lote 8 na RTX 5090 para modelos densos Q4_K.
A atualização inclui binários para macOS, Linux, Windows, Android e openEuler nos backends CPU, CUDA, Vulkan, ROCm, OpenVINO e SYCL.

Esta alteração melhora o desempenho de inferência em GPUs NVIDIA modernas ao selecionar automaticamente o caminho do kernel mais eficiente com base no tamanho do lote e nas capacidades do hardware.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Artigos relacionados

lab Hugging Face Blog · há 3 d · 5 visualizações

Alocador de GPU com consciência de restrições melhora a utilização e a saída ponderada por prioridade em relação ao FIFO

Um alocador de GPU com consciência de restrições foi benchmarkado contra um agendador FIFO em sete cenários, alcançando até 33 pontos percentuais mais de utilização da GPU e até 105% mais saída ponderada por prioridade em hardware idêntico. O sistema trata a demanda de inferência em tempo real como uma curva flutuante em vez de uma reserva estática, permitindo que trabalhos do tipo batch preencham a capacidade durante os vales enquanto respeita restrições rigorosas como blocos contíguos de GPU e não-preempção.

media r/LocalLLaMA · há 4 d · 22 visualizações

NVIDIA serve Qwen 3.8 2.4T no GB300 NVL72 a 4K tokens/s por GPU

A NVIDIA demonstrou o serviço do modelo de parâmetros Qwen 3.8 2.4T com capacidades de raciocínio configuráveis em sua plataforma de hardware GB300 NVL72.

github llama.cpp · há 14 d · 26 visualizações

llama.cpp b10306 adiciona caminho plano de GLU SYCL e consolida kernels

A versão b10306 do llama.cpp introduz otimizações de desempenho para o backend SYCL, focando especificamente nas operações de Unidade Linear com Gating (GLU). A atualização adiciona um caminho rápido contíguo para operações GLU fundidas e consolida kernels anteriormente distintos para compartilhar um único lançador.

github llama.cpp · há 17 d · 31 visualizações

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

media r/LocalLLaMA · há 21 d · 27 visualizações

Lucebox e AMD superam Nvidia DGX Spark em 3.63x no DeepSeek V4 Flash

A Lucebox se associou à AMD para demonstrar uma configuração de hardware heterogênea para consumidores que supera a Nvidia DGX Spark em velocidade de inferência. O sistema combina uma GPU AMD Radeon AI PRO R9700 com um processador Strix Halo para executar o modelo completo DeepSeek V4 Flash de 284B.