github llama.cpp · há 5 h · inference

llama.cpp b10715 funde o codificador DFlash na injeção de cache KV

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10715, que inclui uma otimização-chave na implementação do DFlash. O codificador DFlash agora é fundido diretamente no processo de injeção do cache KV durante a decodificação.

Anteriormente, executar o codificador como uma chamada separada `llama_encode` forçava uma ida e volta do dispositivo para o host para sua saída antes que a decodificação de injeção pudesse reenviá-la, junto com uma segunda construção de grafo por rodada. Essa mudança incorpora o codificador no ramo de embeddings do decodificador, permitindo que recursos-alvo sejam alimentados diretamente em uma única chamada `llama_decode`.

O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10721 corrige falha no WebGPU e adiciona suporte a CUDA 13.4 no Windows

O projeto llama.cpp lançou a compilação b10721, que inclui uma correção crítica para o backend do WebGPU e amplia o suporte de hardware no Windows.

github llama.cpp · há 2 h

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 6 h · 1 visualização

llama.cpp b10714 ajusta linhas de mat-vec do Vulkan para Strix Halo

O projeto llama.cpp lançou a compilação b10714, que inclui otimizações específicas para o backend do Vulkan direcionado ao hardware AMD Strix Halo. A atualização ajusta as contagens de linhas de multiplicação de matriz por vetor para melhorar o desempenho durante a inferência em lote.

github llama.cpp · há 12 h · 3 visualizações

llama.cpp b10706 adiciona suporte a SWIGLU_CLAMP e shaders Vulkan

O projeto llama.cpp lançou a compilação b10706, introduzindo nova funcionalidade no backend ggml. Esta atualização inclui a adição de SWIGLU_CLAMP e uma nova implementação do shader Vulkan.

github llama.cpp · há 13 h · 9 visualizações

llama.cpp b10707 otimiza a varredura de células do cache KV para geração mais rápida

O projeto llama.cpp lançou a versão b10707, que inclui uma otimização de desempenho no tratamento do cache de chave-valor (KV). A atualização modifica a função `for_each_token_in` para parar a varredura assim que todas as sequências dentro de uma célula específica forem vistas, em vez de iterar por todas as sequências máximas possíveis.