github llama.cpp · agora mesmo · inference

llama.cpp funde RMS_NORM e SCALE em um único kernel CUDA

Traduzido do English → Português (BR)

O projeto llama.cpp fundiu as operações RMS_NORM e SCALE em um único kernel CUDA para reduzir a sobrecarga do host/driver. Anteriormente, nós de SCALE separadas adicionavam lançamentos extras de kernel que eram desprezíveis no processamento em lote comum, mas aumentavam significativamente a latência durante o decodificação especulativa draft-mtp.

A fusão adiciona uma flag do_scale a rms_norm_f32, permitindo que o caminho fundido compartilhe o kernel, a redução e o lançador enquanto mantém a equivalência numérica bit-a-bit.
Em uma configuração com 2x GTX 1080 Ti e Qwen3.8-27B, a taxa de transferência do prefill a frio melhorou em 4,2% para 8000 tokens e 4,8% para 20000 tokens sob condições draft-mtp.
A contagem de lançamentos por ubatch diminuiu de 1032,9 + 841,7 para 978,9 + 799,7, igualando as contagens anteriores da linha de base sem alterar as somas das operações da GPU.
Todos os testes de backend para RMS_NORM_SCALE, NORM_SCALE e operações relacionadas passaram em ambas as GPUs, com a perplexidade permanecendo idêntica à versão não fundida.

Esta otimização melhora a velocidade de inferência especificamente em cenários de decodificação especulativa ao reduzir o custo cumulativo dos lançamentos de kernel.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

media Hugging Face Forums · há 3 h · 1 visualização

VeriLoop E2: modelo pós-treinado de 27B com escada GGUF de BF16 a IQ1_M

O Laboratório de Robótica SIGS da Universidade Tsinghua lançou o VeriLoop E2, um modelo pós-treinado de 27B construído sobre o Qwen3.8-27B para código verificável, matemática e raciocínio científico. O lançamento introduz a Recorrência Governada por VeriLoop (VGR), que separa a geração da verificação externa para garantir que as transições de estado melhorem estritamente as dimensões de evidência.

arxiv arXiv cs.CL · há 3 h · 2 visualizações

Estrutura de ponte de coroutine vence o Track 2 do CAR-bench com 60,0% Pass^3

Uma nova estrutura de ponte de coroutine para agentes que utilizam ferramentas venceu o Track 2 da avaliação CAR-bench, alcançando uma pontuação de Pass@3 de 60,0% no conjunto oficial de testes ocultos. O sistema desacopla a invocação do modelo das viagens de ida e volta das ferramentas, fazendo com que o modelo emita programas Python que bloqueiam e retomam a execução entre as trocas do avaliador.

github llama.cpp · há 14 h · 6 visualizações

llama.cpp b11160 adiciona matmul coopmat1 int8 para AMD RDNA3/4 e suporte IQ4_XS

O projeto llama.cpp lançou a versão b11160, introduzindo uma implementação de matriz cooperativa int8 (coopmat1) para Vulkan nas arquiteturas AMD RDNA3 e RDNA4. Esta atualização inclui um shader dedicado que sonda os valores coopmat diretamente para melhorar o desempenho.

lab Hugging Face Blog · há 14 h · 3 visualizações

Liquid AI lança LFM2.5-VL-DSpark para acelerar a inferência de modelos de visão e linguagem

A Liquid AI lançou o modelo em rascunho LFM2.5-VL-DSpark, um drafter de decodificação especulativa projetado para acelerar a inferência do modelo de visão e linguagem LFM2.5-VL-3B. O drafter captura estados ocultos de camadas fixas do modelo alvo para gerar tokens candidatos, adicionando apenas 280M parâmetros (sobrecarga de 8,9%) enquanto mantém a dimensionalidade idêntica entre as modalidades.

lab Liquid AI · há 16 h · 1 visualização

Liquid AI lança modelo rascunho DSpark para LFM2.5-VL-3B

A Liquid AI lançou um modelo rascunho experimental DSpark para seu modelo de visão e linguagem LFM2.5-VL-3B, permitindo decodificação mais rápida em dispositivos edge e GPUs sem alterar a qualidade de saída.