github llama.cpp · há 2 d · inference

llama.cpp b10938 adiciona mutex de queuesubmit Vulkan para corrigir bug do driver NV

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10938, que inclui uma solução alternativa para um bug do driver NVIDIA que afeta a execução do Vulkan. A atualização introduz um mutex ao redor da operação queuesubmit para prevenir problemas de sincronização quando duas filas no mesmo VkDevice são submetidas simultaneamente.

Adiciona um mutex ao redor do Vulkan queuesubmit para resolver quebras internas de sincronização causadas por submissões concorrentes de filas em hardware NVIDIA.
Fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) e plataformas openEuler.

Este lançamento garante desempenho estável do Vulkan em drivers NVIDIA afetados ao mitigar o defeito de sincronização identificado.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10984 adiciona suporte CUDA para SUM_ROWS contíguo por linha

O projeto llama.cpp lançou a versão b10984, introduzindo suporte CUDA para operações SUM_ROWS contíguas por linha. Esta atualização também organiza o código para incluir GGML_OP_MEAN para lidar com tensores contíguos por linha por meio de um kernel compartilhado.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10985 restringe o cache de hash RPC a pesos

O projeto llama.cpp lançou a compilação b10985, que modifica o backend RPC para limitar o armazenamento em cache baseado em hash exclusivamente a tensores de peso. Esta alteração aborda um problema onde os dados de ativação eram desnecessariamente hashados e armazenados, levando ao uso excessivo do disco.

github llama.cpp · há 3 h · 4 visualizações

llama.cpp b10982 adiciona suporte a Flash Attention esparso via Vulkan para DSV4/GLM

O projeto llama.cpp lançou a compilação b10982, que introduz suporte ao Flash Attention esparsivo por meio do backend Vulkan. Esta atualização direciona-se especificamente aos modelos DSV4 e GLM, permitindo que aproveitem mecanismos de atenção esparsa em hardware de GPU compatível.

github llama.cpp · há 4 h · 2 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.

github llama.cpp · há 5 h · 1 visualização

llama.cpp adiciona kernels Metal FA para HSK=96, HSV=64 do MiniCPM3

O projeto llama.cpp adicionou suporte ao kernel Flash Attention (FA) para a configuração específica usada pelo MiniCPM3 no Apple Silicon. Esta alteração corrige uma falha onde a flag `-fa auto` abortava devido à falta de instanciação de kernel para o comprimento da chave de atenção 96 e do valor 64.