github llama.cpp · agora mesmo · inference

llama.cpp b10669 vincula o cache KV f16 no lugar para o caminho SDPA do oneDNN

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10669, que inclui uma otimização de desempenho para o caminho SDPA do oneDNN ao vincular o cache KV f16 no lugar.

A alteração reduz o tráfego de memória durante os chunks de prefill; por exemplo, no Qwen3.8 27B com um comprimento KV ativo de 34816, ela reduz o tráfego por ubatch de 4.56 GB para menos, evitando cópias em etapas.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Esta atualização fornece aos usuários um desempenho de inferência otimizado em hardware suportado, mantendo a ampla compatibilidade com plataformas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10666 corrige testes de salvamento/carregamento de estado e cópia de sequência no dispositivo

O lançamento llama.cpp b10666 expande o conjunto de testes de salvamento/carregamento de estado para executar em todas as arquiteturas e resolve vários bugs críticos no gerenciamento de estado e manipulação de grafos. As principais alterações incluem a correção de referências pendentes no minimax-01, alinhamento da cópia de blocos para sequências no dispositivo e correção das contagens de cabeçalho do indexador para deepseek4.

github llama.cpp · há 16 h · 1 visualização

llama.cpp b10662 adiciona ctx-per-slot para cache KV unificado

O projeto llama.cpp lançou a compilação b10662, introduzindo um novo argumento `--kv-unified-per-slot` que permite aos usuários especificar o contexto por slot para o cache KV unificado. Esta mudança substitui o mecanismo anterior de fração de contexto por slots de pool de contexto e refatora a implementação subjacente.

github llama.cpp · há 17 h · 7 visualizações

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 17 h · 16 visualizações

llama.cpp b10658 adiciona suporte ao DFlash2 e corrige bug do mrope

O projeto llama.cpp lançou a compilação b10658, introduzindo suporte para a especificação DFlash2, que inclui convolução local e um seletor de candidatos. Esta atualização também aborda um bug específico do mrope dentro da base de código.

github llama.cpp · há 18 h · 1 visualização

llama.cpp empacota DLLs do HIP runtime com a versão ROCm para Windows

O projeto llama.cpp atualizou sua versão ROCm para Windows para empacotar os DLLs necessários do HIP runtime diretamente ao lado dos binários. Esta alteração resolve o problema #26929, garantindo que o runtime correto do HIP seja carregado em vez de potencialmente conflitar com a cópia do driver no System32.