github llama.cpp · agora mesmo · inference

llama.cpp b10662 adiciona ctx-per-slot para cache KV unificado

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10662, introduzindo um novo argumento `--kv-unified-per-slot` que permite aos usuários especificar o contexto por slot para o cache KV unificado. Esta mudança substitui o mecanismo anterior de fração de contexto por slots de pool de contexto e refatora a implementação subjacente.

Adiciona o argumento `ctx-per-slot` para gerenciar a alocação do cache KV unificado de forma mais granular.
Substitui as frações de ctx por slots de pool de ctx para melhorar a lógica de gerenciamento de memória.
Remove o parâmetro obsoleto `ctx-pool-slots` e converte `ctx-per-slot` para um tipo inteiro.
Inclui limpeza geral de formatação e refatoração de código por Xuan Son Nguyen.

Esta atualização fornece aos usuários um controle mais fino sobre a distribuição da janela de contexto entre vários slots no sistema de cache KV unificado.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10658 adiciona suporte ao DFlash2 e corrige bug do mrope

O projeto llama.cpp lançou a compilação b10658, introduzindo suporte para a especificação DFlash2, que inclui convolução local e um seletor de candidatos. Esta atualização também aborda um bug específico do mrope dentro da base de código.

github llama.cpp · há 2 h · 1 visualização

llama.cpp empacota DLLs do HIP runtime com a versão ROCm para Windows

O projeto llama.cpp atualizou sua versão ROCm para Windows para empacotar os DLLs necessários do HIP runtime diretamente ao lado dos binários. Esta alteração resolve o problema #26929, garantindo que o runtime correto do HIP seja carregado em vez de potencialmente conflitar com a cópia do driver no System32.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10656 limita a memória de trabalho para evitar carregar tensores grandes na RAM

O projeto llama.cpp lançou a compilação b10656, que inclui uma alteração para limitar o tamanho da memória de trabalho. Esta modificação foi projetada para impedir que tensores grandes sejam carregados na RAM do sistema.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10657 adiciona kernels binários OpenCL para GEMO MOE

O projeto llama.cpp lançou a versão b10657, introduzindo novos kernels binários OpenCL para modelos de especialistas mistos. Especificamente, a atualização adiciona `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` e `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` para suportar computação eficiente em hardware compatível.