github llama.cpp · há 1 h · inference

llama.cpp b10327 corrige a contagem de threads/blocos no kernel de cópia quantizada

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10327, que inclui uma correção para a contagem de threads e blocos nos lançamentos do kernel de cópia quantizada no CUDA. Esta atualização aborda um problema identificado no pull request #26731.

O lançamento adiciona testes para casos de cópia com contagem de blocos desigual para garantir a correção.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.
Um XCFramework para iOS e uma compilação de UI independente também são fornecidos.

Este lançamento garante a execução estável de operações de cópia quantizada em hardware CUDA em uma ampla gama de plataformas suportadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10313 adiciona agendador LRU ao servidor

O projeto llama.cpp lançou a versão b10313, que introduz um agendador LRU (Least Recently Used) para seu componente de servidor. Esta atualização inclui tratamento de coalescência de requisições e correções para casos de streaming.

github llama.cpp · há 15 h

Lançamento do llama.cpp b10312 com correção no servidor para modelos ocupados

O projeto llama.cpp lançou a versão b10312, que inclui uma atualização específica para o componente do servidor. A principal alteração aborda um problema em que modelos ocupados estavam sendo removidos do roteador.

github llama.cpp · há 17 h

llama.cpp b10307 corrige a análise de NVFP4 no SYCL

O projeto llama.cpp lançou a versão b10307, que inclui uma correção para o código GPU do SYCL para analisar corretamente os fatores de escala UE4M3 usados na quantização NVFP4.

github llama.cpp · há 1 d

llama.cpp b10298 adiciona função de salvar/carregar chunks para o módulo mtmd

O projeto llama.cpp lançou a compilação b10298, que introduz uma nova função de salvamento e carregamento de chunks para o módulo mtmd. Esta atualização também inclui limpeza de código e testes adicionais.

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10282 adiciona contadores de spec-decode ao endpoint /metrics

O projeto llama.cpp lançou a versão b10282, que introduz novas capacidades de monitoramento para decodificação especulativa. O servidor agora inclui contadores de spec-decode em seu endpoint /metrics, permitindo que os usuários acompanhem as métricas de desempenho relacionadas a este recurso.