github llama.cpp · há 2 h · inference

llama.cpp b10982 adiciona suporte a Flash Attention esparso via Vulkan para DSV4/GLM

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10982, que introduz suporte ao Flash Attention esparsivo por meio do backend Vulkan. Esta atualização direciona-se especificamente aos modelos DSV4 e GLM, permitindo que aproveitem mecanismos de atenção esparsa em hardware de GPU compatível.

Adiciona suporte a Flash Attention esparsivo para DSV4/GLM na implementação Vulkan.
Inclui lógica de implementação ajustada e testes adicionados.
Corrige comportamento não determinístico do atomicAdd.
Adiciona suporte ao vetor de decodificação cm2 e vinculação f16vec4 para vetores de decodificação.
Simplifica a lógica e melhora a consistência dos nomes das variáveis.

O lançamento fornece binários pré-compilados para macOS, Linux, Windows, Android e openEuler nos backends CPU, CUDA, ROCm, OpenVINO, SYCL e Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

github llama.cpp · há 21 h · 8 visualizações

llama.cpp 0.4.1 adiciona suporte a Maple 20B-A1B, Tencent Hy 4 e Spark2.5

O projeto llama.cpp lançou a versão 0.4.1, introduzindo suporte para a arquitetura ternária Mixture of Experts do Maple 20B-A1B em CPU, bem como suporte preview para os modelos Tencent Hy 4 e Spark2.5.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10951 move llama_n_rs_seq antes de llama_decode para evitar chamadas desnecessárias

O projeto llama.cpp lançou a versão b10951, que inclui uma otimização de código na lógica de decodificação. A chamada à função `llama_n_rs_seq` agora é executada antes do `llama_decode`, permitindo que o sistema retorne diretamente se a verificação for bem-sucedida.

github llama.cpp · há 3 d · 12 visualizações

llama.cpp b10930 permite downloads de modelos no limite do modelo

O projeto llama.cpp lançou a versão b10930, que inclui uma correção para o componente do servidor para permitir downloads de modelos mesmo quando o usuário atingiu seu limite de modelos.

github llama.cpp · há 3 d · 4 visualizações

Lançamento b10926 do llama.cpp lida com quants tq1_0 não suportados de forma elegante

O projeto llama.cpp lançou a versão b10926, que inclui uma correção para lidar com quantizações tq1_0 não suportadas falhando de forma elegante. Esta atualização resolve o problema #28681 para melhorar a estabilidade ao encontrar este formato de quantização específico.