github llama.cpp · há 12 h · inference

llama.cpp b10989 habilita AllReduce para ROCm e fornece binários multiplataforma

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10989, que introduz suporte para habilitar operações AllReduce no backend ROCm. Esta atualização faz parte do desenvolvimento contínuo para expandir a compatibilidade de hardware e as capacidades de computação distribuída para inferência de grandes modelos de linguagem.

O lançamento inclui binários pré-compilados para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows e Android.
As opções de aceleração de GPU foram expandidas para incluir CUDA 12.8/13.3, Vulkan, OpenVINO, SYCL FP32/FP16 e ROCm 10.0 nas plataformas suportadas.
Builds específicos são fornecidos para as arquiteturas openEuler x86 e aarch64, incluindo suporte para ACL Graph em processadores 910b.
Um binário de UI standalone também está disponível junto com os lançamentos da biblioteca principal.

Este lançamento permite que os usuários aproveitem GPUs AMD baseadas em ROCm com funcionalidade AllReduce, ao mesmo tempo que fornece binários atualizados para vários sistemas operacionais e aceleradores de hardware.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Artigos relacionados

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10995 torna incondicional a cauda BN/2 do MUL_MAT_ID no Vulkan

O projeto llama.cpp lançou a compilação b10995, que modifica o tratamento da operação MUL_MAT_ID no backend Vulkan. Especificamente, a mudança torna a cauda BN/2 incondicional, usando BN/2 como padrão para BNover2 e como fallback desabilitado para BNover4, enquanto remove o gate de habilitação dessa ramificação.

github llama.cpp · há 16 h · 1 visualização

llama.cpp b10988 adiciona seleção de multiplicação matricial de especialistas MoE via OpenCL para decodificação especulativa

O projeto llama.cpp lançou a compilação b10988, introduzindo alterações no backend do OpenCL especificamente para modelos Mixture of Experts (MoE). A atualização implementa lógica para escolher a multiplicação matricial do especialista MoE com base no tamanho do lote durante a decodificação especulativa e previsão de múltiplos tokens.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b10984 adiciona suporte CUDA para SUM_ROWS contíguo por linha

O projeto llama.cpp lançou a versão b10984, introduzindo suporte CUDA para operações SUM_ROWS contíguas por linha. Esta atualização também organiza o código para incluir GGML_OP_MEAN para lidar com tensores contíguos por linha por meio de um kernel compartilhado.

github llama.cpp · há 21 h · 1 visualização

llama.cpp b10985 restringe o cache de hash RPC a pesos

O projeto llama.cpp lançou a compilação b10985, que modifica o backend RPC para limitar o armazenamento em cache baseado em hash exclusivamente a tensores de peso. Esta alteração aborda um problema onde os dados de ativação eram desnecessariamente hashados e armazenados, levando ao uso excessivo do disco.

github llama.cpp · há 1 d · 4 visualizações

llama.cpp b10981 corrige decode com estado para Gemma-4 e otimiza inferência de GPU MoE

O lançamento do llama.cpp b10981 aborda problemas críticos de correção no caminho de decodificação com estado do backend OpenVINO, corrigindo especificamente o suporte para modelos como Gemma-4 que usam tamanhos de cabeça por camada. Também introduz otimizações para inferência de Mixture of Experts (MoE) em GPU e melhora o desempenho por meio de relayouts do estado KV.