github llama.cpp · há 1 h · inference

llama.cpp b10307 corrige a análise de NVFP4 no SYCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10307, que inclui uma correção para o código GPU do SYCL para analisar corretamente os fatores de escala UE4M3 usados na quantização NVFP4.

A atualização corrige a conversão de valores de escala de E4M3 com sinal para sem sinal, pois o NVFP4 armazena esses fatores em bytes UE4M3 individuais.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.
Uma compilação com interface gráfica também é fornecida para uso geral.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10298 adiciona função de salvar/carregar chunks para o módulo mtmd

O projeto llama.cpp lançou a compilação b10298, que introduz uma nova função de salvamento e carregamento de chunks para o módulo mtmd. Esta atualização também inclui limpeza de código e testes adicionais.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10282 adiciona contadores de spec-decode ao endpoint /metrics

O projeto llama.cpp lançou a versão b10282, que introduz novas capacidades de monitoramento para decodificação especulativa. O servidor agora inclui contadores de spec-decode em seu endpoint /metrics, permitindo que os usuários acompanhem as métricas de desempenho relacionadas a este recurso.

github llama.cpp · há 3 d

llama.cpp b10298 adiciona função de salvar/carregar chunks para o módulo mtmd

llama.cpp b10282 adiciona contadores de spec-decode ao endpoint /metrics

llama.cpp b10259 permite reconfiguração de tensores durante o carregamento

llama.cpp b10254 adiciona modelo de template DeepSeek V4 Flash 0731 e atualiza templates V4

llama.cpp b10251 adiciona suporte MTP para GLM-4.7-Flash