github llama.cpp · há 1 h · inference

llama.cpp b10298 adiciona função de salvar/carregar chunks para o módulo mtmd

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10298, que introduz uma nova função de salvamento e carregamento de chunks para o módulo mtmd. Esta atualização também inclui limpeza de código e testes adicionais.

Adicionada funcionalidade de salvar/carregar chunks ao módulo mtmd.
Incluídas pequenas correções de código e adições de testes.
Renomeadas constantes internas de _MAX para _COUNT.

O lançamento fornece binários para macOS, Linux, Windows, Android e openEuler em vários backends de hardware incluindo CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL e HIP.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10282 adiciona contadores de spec-decode ao endpoint /metrics

O projeto llama.cpp lançou a versão b10282, que introduz novas capacidades de monitoramento para decodificação especulativa. O servidor agora inclui contadores de spec-decode em seu endpoint /metrics, permitindo que os usuários acompanhem as métricas de desempenho relacionadas a este recurso.

github llama.cpp · há 2 d

llama.cpp b10259 permite reconfiguração de tensores durante o carregamento

O projeto llama.cpp lançou a compilação b10259, que introduz a capacidade de permitir a reconfiguração de tensores durante o processo de carregamento.

github llama.cpp · há 3 d · 2 visualizações

llama.cpp b10254 adiciona modelo de template DeepSeek V4 Flash 0731 e atualiza templates V4

O projeto llama.cpp lançou a versão b10254, introduzindo um novo modelo de chat para o modelo DeepSeek V4 Flash 0731 junto com atualizações nos templates existentes do DeepSeek V4.

github llama.cpp · há 3 d

llama.cpp b10251 adiciona suporte MTP para GLM-4.7-Flash

O projeto llama.cpp lançou a compilação b10251, que introduz suporte de Previsão Multi-Token (MTP) para o modelo GLM-4.7-Flash.

github llama.cpp · há 4 d

llama.cpp b10238 adiciona suporte para MTP no Qwen3-Next

O projeto llama.cpp lançou a compilação b10238, que introduz o suporte para Multi-Token Prediction (MTP) na família de modelos Qwen3-Next. Esta atualização inclui alterações específicas de implementação para lidar com camadas MTP e correções relacionadas à verificação de tipos do Python no código-fonte.