github llama.cpp · há 4 h · inference

llama.cpp b10995 torna incondicional a cauda BN/2 do MUL_MAT_ID no Vulkan

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10995, que modifica o tratamento da operação MUL_MAT_ID no backend Vulkan. Especificamente, a mudança torna a cauda BN/2 incondicional, usando BN/2 como padrão para BNover2 e como fallback desabilitado para BNover4, enquanto remove o gate de habilitação dessa ramificação.

O lançamento inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Esta atualização fornece aos usuários compilações atualizadas em múltiplas plataformas e aceleradores de hardware.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10989 habilita AllReduce para ROCm e fornece binários multiplataforma

O projeto llama.cpp lançou a versão b10989, que introduz suporte para habilitar operações AllReduce no backend ROCm. Esta atualização faz parte do desenvolvimento contínuo para expandir a compatibilidade de hardware e as capacidades de computação distribuída para inferência de grandes modelos de linguagem.

github llama.cpp · há 16 h · 1 visualização

llama.cpp b10988 adiciona seleção de multiplicação matricial de especialistas MoE via OpenCL para decodificação especulativa

O projeto llama.cpp lançou a compilação b10988, introduzindo alterações no backend do OpenCL especificamente para modelos Mixture of Experts (MoE). A atualização implementa lógica para escolher a multiplicação matricial do especialista MoE com base no tamanho do lote durante a decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b10984 adiciona suporte CUDA para SUM_ROWS contíguo por linha

O projeto llama.cpp lançou a versão b10984, introduzindo suporte CUDA para operações SUM_ROWS contíguas por linha. Esta atualização também organiza o código para incluir GGML_OP_MEAN para lidar com tensores contíguos por linha por meio de um kernel compartilhado.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b10985 restringe o cache de hash RPC a pesos

O projeto llama.cpp lançou a compilação b10985, que modifica o backend RPC para limitar o armazenamento em cache baseado em hash exclusivamente a tensores de peso. Esta alteração aborda um problema onde os dados de ativação eram desnecessariamente hashados e armazenados, levando ao uso excessivo do disco.

github llama.cpp · há 1 d · 4 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.