github llama.cpp · agora mesmo · inference

llama.cpp b10795 funde operações SYCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10795, que inclui uma nova otimização para o backend SYCL. Esta atualização permite a fusão das cadeias RMS_NORM+MUL+ADD e ADD+ADD residual sob a flag GGML_SYCL_ENABLE_FUSION.

A operação fundida ADD+ADD reutiliza o mesmo índice de broadcast e matriz de tipos da função add() independente, suportando f32, f16, i32, i16, bf16 e dados não contíguos.
Combinações não suportadas na lógica de fusão retornam a dois lançamentos separados de add() para manter a compatibilidade.

Este lançamento fornece binários para macOS, Linux, Windows, Android e openEuler em vários aceleradores de hardware, incluindo CUDA, ROCm, Vulkan e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

media r/LocalLLaMA · há 14 h · 3 visualizações

IFM lança K2-Horizon-MoVA-36B-A4B, um modelo MoE esparso com 4B de parâmetros ativos

A IFM lançou o checkpoint final para o K2-Horizon-MoVA-36B-A4B, um modelo Mixture-of-Experts que apresenta atenção Mixture-of-Values, armazena 36B de parâmetros mas executa apenas 4B por token. O lançamento inclui formatos GGUF e links para variantes menores da família K2-Horizon.

github llama.cpp · há 16 h · 3 visualizações

llama.cpp adiciona suporte a flash attention esparsa para pré-carregamento no Metal

O projeto llama.cpp introduziu suporte ao flash attention (FA) esparsa para o backend Metal, direcionado especificamente à fase de pré-carregamento da inferência do modelo. Esta atualização inclui um novo kernel que compacta entradas de máscara finita em listas de índices por linha e estende o kernel FA vetorial com coleta opcional de índices esparsos.

github llama.cpp · há 19 h · 1 visualização

llama.cpp b10780 aprimora a API do SYCL para suportar cópia peer-to-peer

O projeto llama.cpp lançou a versão b10780, que inclui uma melhoria específica no backend do SYCL. Esta atualização modifica a API para habilitar capacidades de cópia peer-to-peer para dispositivos SYCL.

github llama.cpp · há 19 h · 2 visualizações

llama.cpp adiciona suporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduz suporte para o modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando inferência para esta arquitetura de Mixture of Experts. A atualização implementa infraestrutura para tamanhos de feed-forward de experts por camada variáveis e roteamento top-k, que são necessários porque o modelo tem 40 camadas MoE com valores distintos de n_ff_exp e top-k.