github llama.cpp · há 1 h · inference

llama.cpp b10249 adiciona ferramenta get_info ao servidor

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10249, que introduz uma nova ferramenta `get_info` no componente do servidor. Esta atualização também inclui correções de documentação para a flag `--rpc`.

O servidor agora expõe uma ferramenta `get_info` para recuperar informações do sistema.
O tratamento do resultado da sonda foi reforçado para relatar 'unknown' (desconhecido) quando o processo falha ou excede o tempo limite, evitando que o texto de diagnóstico seja interpretado erroneamente como um nome de SO.
Foram adicionados corte de saída e limites de tempo limite para garantir o manuseio limpo dos dados.
O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler.

Este lançamento torna a ferramenta `get_info` disponível para diagnósticos do lado do servidor, ao mesmo tempo em que fornece binários atualizados em todas as plataformas suportadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

github llama.cpp · há 2 h

llama.cpp b10247 corrige travamentos com modelos MoE largos usando alocação dinâmica

O projeto llama.cpp lançou a versão b10247, que aborda problemas de estabilidade ao carregar grandes modelos Mixture of Experts (MoE) em configurações multi-backend. A atualização substitui arrays de tamanho fixo no agendador do backend por buffers alocados dinamicamente para lidar com divisões de gráfico que excedem 30 tensores de entrada.

github llama.cpp · há 3 h

llama.cpp b10246 roteia grandes lm_head q6_K para GEMV plano

O projeto llama.cpp lançou a versão b10246, que inclui uma correção para o desempenho do OpenCL em configurações específicas de modelos. A atualização aborda um problema onde a condição de dimensão original era insuficiente para lidar com grandes pesos.

github llama.cpp · há 8 h · 2 visualizações

llama.cpp b10242 adiciona amostrador de backend CUDA para penalidades

O projeto llama.cpp lançou a versão b10242, introduzindo um novo amostrador de backend para penalidades que permite que o tratamento das penalidades seja descarregado para a GPU. Esta alteração aprimora a função `common_sampler_init` e atualiza a estrutura `llama_sampler_penalties` para herdar de `llama_sampler_backend`, permitindo ajustes de frequência e presença no backend.

github llama.cpp · há 11 h · 1 visualização

llama.cpp b10241 corrige data-races de SMEM no block_reduce do CUDA

O projeto llama.cpp lançou a versão b10241, que aborda um bug crítico no backend do CUDA. A atualização resolve as data-races que ocorriam ao reutilizar a memória compartilhada (SMEM) durante reduções em bloco.

media Hugging Face Forums · há 14 h · 1 visualização

Quesma publica mapa curado com 218 ferramentas e artigos para eficiência de custo de tokens em LLM

A Quesma lançou uma lista aberta e curada contendo 218 entradas que rastreiam onde os tokens são gastos em fluxos de trabalho de LLM e agentes. O recurso cobre monitoramento, cache semântico, modelos locais baratos, engenharia de contexto e governança de custos.