github llama.cpp · há 3 d · inference

llama.cpp b10833 adiciona fusão de norma RMS do Vulkan para aceleração de ~4% no gemma4

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10833, introduzindo otimizações do backend Vulkan que fundem operações específicas de normalização para melhorar o desempenho de inferência.

Suporte para fusão de RMS_NORM + MUL + ADD (+ MUL) e RMS_NORM + VIEW + SET_ROWS no backend Vulkan.
Extensão de ROPE + VIEW + SET_ROWS para suportar IMROPE.
O autor relata um ganho de desempenho de aproximadamente 4% em modelos gemma4 em seu sistema.

Esta atualização fornece aos usuários velocidades de inferência mais rápidas para modelos compatíveis executados em hardware compatível com Vulkan.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

DeepSeek lança DeepSeek-V4.1-Flash com contexto de 1M e cache KV FP4

A DeepSeek AI lançou o DeepSeek-V4.1-Flash, um modelo Mixture-of-Experts multimodal que possui uma janela de contexto de 1 milhão de tokens e um cache KV FP4 que reduz a pegada global do cache para 890 bytes por token. O modelo utiliza uma arquitetura de codificador-decodificador causal e Compressed Sparse Attention 2 (CSA2) para reduzir significativamente os requisitos de memória enquanto mantém o desempenho.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10889 evita alocação de cache V para o indexador

O projeto llama.cpp lançou a compilação b10889, que inclui uma otimização de memória para evitar alocar o cache V para o indexador, já que ele não é utilizado.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10888 adiciona rótulos de depuração de buffer de comandos para profilers de GPU

O projeto llama.cpp lançou a compilação b10888, que inclui um novo recurso para adicionar rótulos de depuração de buffer de comandos para profilers de GPU no backend Vulkan.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10886 adiciona suporte a intrínsecos vetoriais Q1_0 para s390x

O projeto llama.cpp lançou a compilação b10886, que introduz o suporte a intrínsecos vetoriais Q1_0 para a arquitetura s390x. Esta atualização inclui a implementação de `ggml_vec_dot_q1_0_q8_0` e atualiza a documentação para refletir a nova capacidade.

github llama.cpp · há 18 h · 1 visualização

llama.cpp b10883 corrige multiplicação de matrizes Vulkan e restaura otimizações Ampere

O projeto llama.cpp lançou a compilação b10883, que inclui atualizações significativas no backend Vulkan. A principal alteração envolve o uso de constantes de especificação para operações de multiplicação matriz-matriz tipo A para melhorar a compilação e o desempenho dos shaders.