github llama.cpp · agora mesmo · inference

llama.cpp b10425 funde a gravação de estado gated-delta-net para aceleração de +1,2%

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10425, que inclui uma porta da otimização SYCL para fundir a cópia de gravação de estado gated-delta-net.

A alteração melhora o desempenho em aproximadamente 1,2% no hardware Arc Pro B70 ao executar Qwen 3.6 27B com passagens A/B intercaladas.
A latência de pré-preenchimento (pp2048) permanece estável, enquanto a velocidade de geração de tokens aumenta ligeiramente.
Os binários estão disponíveis para macOS, Linux, Windows, Android e openEuler nos backends CPU, CUDA, Vulkan, ROCm, OpenVINO e SYCL.

Este lançamento fornece builds atualizados para várias plataformas e aceleradores para suportar as últimas otimizações de modelos.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

Pesquisadores propõem a Multiplicação de Matrizes Reduzida (RMM), um método de inferência adaptativo à entrada e sem treinamento que reduz os produtos matriciais dos Transformers ao selecionar fatias informativas ao longo das dimensões de contração, sem modificar os pesos do modelo. Sob um controle simples da taxa de retenção, o RMM oferece uma troca suave e previsível entre precisão e eficiência em modelos de linguagem que variam de 1B a 70B parâmetros.

github llama.cpp · há 9 h

Multiplicação de Matrizes Reduzida: Redução do Produto Matricial Adaptativo à Entrada para Inferência de LLMs

llama.cpp b10418 adiciona suporte a memória fixa do host para SYCL

Backend OpenVINO do llama.cpp adiciona suporte ao Qwen3.5 e otimizações de memória

llama.cpp b10416 corrige cache de UI obsoleto no llama.app

llama.cpp b10413 adiciona detecção automática do tipo de especificação de rascunho a partir dos metadados GGUF