github llama.cpp · há 1 h · inference

llama.cpp b10313 adiciona agendador LRU ao servidor

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10313, que introduz um agendador LRU (Least Recently Used) para seu componente de servidor. Esta atualização inclui tratamento de coalescência de requisições e correções para casos de streaming.

O servidor agora suporta um agendador LRU para gerenciar conexões.
A lógica de coalescência de requisições foi implementada para lidar com saídas da fila de espera.
Testes foram adicionados para verificar o novo comportamento de agendamento.
Um bug que afetava o caso de stream foi corrigido.

Este lançamento fornece binários atualizados para macOS, Linux, Windows, Android e iOS em vários backends de hardware, incluindo CPU, CUDA, Vulkan, ROCm e OpenVINO.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

Lançamento do llama.cpp b10312 com correção no servidor para modelos ocupados

O projeto llama.cpp lançou a versão b10312, que inclui uma atualização específica para o componente do servidor. A principal alteração aborda um problema em que modelos ocupados estavam sendo removidos do roteador.

github llama.cpp · há 5 h

llama.cpp b10307 corrige a análise de NVFP4 no SYCL

O projeto llama.cpp lançou a versão b10307, que inclui uma correção para o código GPU do SYCL para analisar corretamente os fatores de escala UE4M3 usados na quantização NVFP4.

github llama.cpp · há 20 h

llama.cpp b10298 adiciona função de salvar/carregar chunks para o módulo mtmd

O projeto llama.cpp lançou a compilação b10298, que introduz uma nova função de salvamento e carregamento de chunks para o módulo mtmd. Esta atualização também inclui limpeza de código e testes adicionais.

github llama.cpp · há 2 d · 1 visualização

llama.cpp b10282 adiciona contadores de spec-decode ao endpoint /metrics

O projeto llama.cpp lançou a versão b10282, que introduz novas capacidades de monitoramento para decodificação especulativa. O servidor agora inclui contadores de spec-decode em seu endpoint /metrics, permitindo que os usuários acompanhem as métricas de desempenho relacionadas a este recurso.

github llama.cpp · há 3 d

llama.cpp b10259 permite reconfiguração de tensores durante o carregamento

O projeto llama.cpp lançou a compilação b10259, que introduz a capacidade de permitir a reconfiguração de tensores durante o processo de carregamento.