github llama.cpp · agora mesmo · inference

llama.cpp b10724 otimiza a restauração do estado kv-cache para reduzir cópias de 1.3M para 224

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10724, que melhora significativamente o desempenho da restauração de células KV cache não contíguas agrupando leituras scatter por execução contínua.

Restauração do estado otimizada para buffers circulares fragmentados pré-calculando índices consecutivos de destino e usando cópias únicas em vez de cópias individuais de células.
Corrigido um erro de asserção no leitor do dispositivo quando as contagens de tensores de salvamento e restauração coincidiam, mas o chunking diferia, recuando para uma cópia com cursor de bytes.
Adicionados testes no host e no dispositivo verificando a restauração do estado idêntica byte a byte para células de sequência entrelaçada.

Esta otimização reduz o número de cópias de memória necessárias para grandes restaurações de mais de 1.3 milhões para apenas 224, cortando o tempo de restauração de dezenas de segundos para menos de meio segundo.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10721 corrige falha no WebGPU e adiciona suporte a CUDA 13.4 no Windows

O projeto llama.cpp lançou a compilação b10721, que inclui uma correção crítica para o backend do WebGPU e amplia o suporte de hardware no Windows.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 7 h · 3 visualizações

llama.cpp b10715 funde o codificador DFlash na injeção de cache KV

O projeto llama.cpp lançou a compilação b10715, que inclui uma otimização-chave na implementação do DFlash. O codificador DFlash agora é fundido diretamente no processo de injeção do cache KV durante a decodificação.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b10714 ajusta linhas de mat-vec do Vulkan para Strix Halo

O projeto llama.cpp lançou a compilação b10714, que inclui otimizações específicas para o backend do Vulkan direcionado ao hardware AMD Strix Halo. A atualização ajusta as contagens de linhas de multiplicação de matriz por vetor para melhorar o desempenho durante a inferência em lote.

github llama.cpp · há 14 h · 3 visualizações

llama.cpp b10706 adiciona suporte a SWIGLU_CLAMP e shaders Vulkan

O projeto llama.cpp lançou a compilação b10706, introduzindo nova funcionalidade no backend ggml. Esta atualização inclui a adição de SWIGLU_CLAMP e uma nova implementação do shader Vulkan.