github llama.cpp · agora mesmo · inference

llama.cpp b10906 corrige especulação após imagem no servidor

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10906, que inclui uma correção para o componente do servidor referente à decodificação especulativa após entradas de imagem. A alteração garante que a posição real seja passada ao redator em vez da contagem de tokens, afetando todos os redatores e não apenas o DFlash.

Renomeado o parâmetro de rascunho `n_past` para `pos0` para refletir com precisão seu papel como indicador de posição em vez de uma contagem de tokens.
Fornecidos binários pré-compilados para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, OpenCL, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Esta atualização corrige uma inconsistência no nome do parâmetro e garante o tratamento adequado da posição na lógica de decodificação especulativa do servidor.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10899 adiciona otimizações do Vulkan para Qwen e suporte split_k

O projeto llama.cpp lançou a versão b10899, introduzindo melhorias específicas de desempenho em seu backend Vulkan. A atualização foca na otimização de operações matriciais para a família de modelos Qwen e no aprimoramento do desempenho geral com M pequeno.

github llama.cpp · há 19 h · 1 visualização

llama.cpp b10896 corrige falha de decodificação do DFlash com modelos de visão

O projeto llama.cpp lançou a compilação b10896, que aborda um problema crítico onde a memória do redator falhava ao alocar novos tokens ao usar DFlash com modelos de visão. Essa falha ocorreu porque as imagens relatavam um deslocamento fixo, impedindo a alocação adequada de tokens.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp desativa o carregamento preguiçoso de tensores por padrão em GPUs integradas

O projeto llama.cpp desativou o carregamento preguiçoso de tensores por padrão para GPUs integradas (iGPUs) na versão b10867. Esta alteração corrige uma regressão introduzida na configuração anterior do modo "AUTO".

github llama.cpp · há 3 d · 4 visualizações

llama.cpp b10864 corrige a evicção de checkpoints para modelos híbridos

O projeto llama.cpp lançou a compilação b10864, que inclui uma correção para a lógica de evicção de espaçamento de checkpoints em `create_checkpoint()`. Anteriormente, a regra de evicção mantinha o checkpoint mais antigo e apagava os subsequentes dentro de `checkpoint_min_step`, fazendo com que prompts mais curtos que esse limite perdessem o checkpoint necessário para a retomada. Isso forçava modelos híbridos e recorrentes a reprefijar desnecessariamente a partir do checkpoint anterior.

github llama.cpp · há 4 d · 11 visualizações

llama.cpp b10844 adiciona operações fundidas de hiperconexão Vulkan para DeepSeek-V4

O projeto llama.cpp lançou a versão b10844, introduzindo suporte para operações fundidas de hiperconexão DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) no backend Vulkan. Esta atualização traz o Vulkan ao mesmo nível que CUDA e Metal em relação a essas otimizações específicas.