github llama.cpp · há 3 d · inference

llama.cpp b11064 suporta hc arbitrário em dsv4_hc_pre

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11064, que modifica o backend metal para suportar contagens de cabeças (hc) arbitrárias no kernel dsv4_hc_pre. Anteriormente, esses kernels tinham hc = 4 codificado, fazendo com que operações com outras contagens de cabeças recuassem para execução na CPU.

A mudança passa n_hc como uma constante de função e faz um loop sobre ela em ambos os kernels anteriores com carregamentos diretos.
Casos de teste-backend-ops foram adicionados para valores de hc de 1, 2, 3, 5, 8 e 65, cobrindo cenários com e sem gating.
Esta atualização permite que modelos como o Kimi-K3 sejam executados eficientemente na GPU ao suportar contagens de checkpoints em bancos dinâmicos na pilha residual entre camadas cruzadas.

O lançamento inclui binários para macOS, Linux, Windows, Android e openEuler através de vários backends de hardware, incluindo CPU, CUDA, ROCm, Vulkan, OpenVINO e SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 1 h · 11 visualizações Ao vivo

llama.cpp b11120 oculta símbolos internos do Vulkan para corrigir destruição de estado

O projeto llama.cpp lançou a versão b11120, que corrige um bug crítico no backend do Vulkan ocultando símbolos internos. Essa mudança evita problemas de destruição de estado por duplicate-dlopen que ocorriam quando os símbolos internos eram exportados.

arxiv arXiv cs.AI · há 4 h · 9 visualizações

CliffCompaction reduz custos de agentes de codificação em 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para reduzir custos para agentes de codificação de longo alcance em até 50% sob um contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter as informações compactadas fiéis por meio de truncamento em vez de reformulação.

arxiv arXiv cs.LG · há 5 h · 9 visualizações

CliffCompaction reduz os custos de agentes de codificação de longo alcance em até 50% mantendo o desempenho

Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para agentes que lidam com milhões de tokens, que corta custos em até 50% sob contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter a fidelidade das informações por meio de truncamento em vez de reformulação.

github llama.cpp · há 6 h · 13 visualizações

llama.cpp b11118 introduz cache DMA de mapeamento direto para tratamento de máscara HVX FA

O projeto llama.cpp lançou a compilação b11118, que inclui um novo recurso hex-dma introduzindo um cache DMA de mapeamento direto mais adequado para o tratamento de máscaras FA do Hexagon Vector eXtended (HVX).