github llama.cpp · há 2 h · inference

llama.cpp empacota DLLs do HIP runtime com a versão ROCm para Windows

Traduzido do English → Português (BR)

O projeto llama.cpp atualizou sua versão ROCm para Windows para empacotar os DLLs necessários do HIP runtime diretamente ao lado dos binários. Esta alteração resolve o problema #26929, garantindo que o runtime correto do HIP seja carregado em vez de potencialmente conflitar com a cópia do driver no System32.

Para isso, o processo de build agora copia amdhip64_7, amd_comgr e rocm_kpack ao lado dos arquivos executáveis. Isso garante que o aplicativo utilize as bibliotecas de runtime empacotadas em vez de depender de instalações em todo o sistema que podem causar incompatibilidades de versão ou erros de carregamento.

Esta correção resolve problemas de dependência de runtime para usuários que executam llama.cpp com ROCm 7.14 no Windows, garantindo aceleração estável da GPU sem gerenciamento manual de DLLs.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10662 adiciona ctx-per-slot para cache KV unificado

O projeto llama.cpp lançou a compilação b10662, introduzindo um novo argumento `--kv-unified-per-slot` que permite aos usuários especificar o contexto por slot para o cache KV unificado. Esta mudança substitui o mecanismo anterior de fração de contexto por slots de pool de contexto e refatora a implementação subjacente.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10658 adiciona suporte ao DFlash2 e corrige bug do mrope

O projeto llama.cpp lançou a compilação b10658, introduzindo suporte para a especificação DFlash2, que inclui convolução local e um seletor de candidatos. Esta atualização também aborda um bug específico do mrope dentro da base de código.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10656 limita a memória de trabalho para evitar carregar tensores grandes na RAM

O projeto llama.cpp lançou a compilação b10656, que inclui uma alteração para limitar o tamanho da memória de trabalho. Esta modificação foi projetada para impedir que tensores grandes sejam carregados na RAM do sistema.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10657 adiciona kernels binários OpenCL para GEMO MOE

O projeto llama.cpp lançou a versão b10657, introduzindo novos kernels binários OpenCL para modelos de especialistas mistos. Especificamente, a atualização adiciona `kernel_gemm_moe_q4_0_q8_1_dp4a_bin` e `kernel_gemm_moe_mxfp4_q8_1_dp4a_bin` para suportar computação eficiente em hardware compatível.