github llama.cpp · há 1 d · inference

llama.cpp b10951 move llama_n_rs_seq antes de llama_decode para evitar chamadas desnecessárias

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10951, que inclui uma otimização de código na lógica de decodificação. A chamada à função `llama_n_rs_seq` agora é executada antes do `llama_decode`, permitindo que o sistema retorne diretamente se a verificação for bem-sucedida.

Esta alteração elimina a necessidade de definir a variável `res` e usar uma instrução goto quando a condição de retorno antecipado é atendida.
A motivação principal é evitar invocar o `llama_decode` quando não é necessário, melhorando a eficiência.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10982 adiciona suporte a Flash Attention esparso via Vulkan para DSV4/GLM

O projeto llama.cpp lançou a compilação b10982, que introduz suporte ao Flash Attention esparsivo por meio do backend Vulkan. Esta atualização direciona-se especificamente aos modelos DSV4 e GLM, permitindo que aproveitem mecanismos de atenção esparsa em hardware de GPU compatível.

github llama.cpp · há 3 h · 2 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

github llama.cpp · há 21 h · 8 visualizações

llama.cpp 0.4.1 adiciona suporte a Maple 20B-A1B, Tencent Hy 4 e Spark2.5

O projeto llama.cpp lançou a versão 0.4.1, introduzindo suporte para a arquitetura ternária Mixture of Experts do Maple 20B-A1B em CPU, bem como suporte preview para os modelos Tencent Hy 4 e Spark2.5.

github llama.cpp · há 3 d · 12 visualizações

llama.cpp b10930 permite downloads de modelos no limite do modelo

O projeto llama.cpp lançou a versão b10930, que inclui uma correção para o componente do servidor para permitir downloads de modelos mesmo quando o usuário atingiu seu limite de modelos.

github llama.cpp · há 3 d · 4 visualizações

Lançamento b10926 do llama.cpp lida com quants tq1_0 não suportados de forma elegante

O projeto llama.cpp lançou a versão b10926, que inclui uma correção para lidar com quantizações tq1_0 não suportadas falhando de forma elegante. Esta atualização resolve o problema #28681 para melhorar a estabilidade ao encontrar este formato de quantização específico.