github llama.cpp · há 1 h · inference

llama.cpp b10242 adiciona amostrador de backend CUDA para penalidades

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10242, introduzindo um novo amostrador de backend para penalidades que permite que o tratamento das penalidades seja descarregado para a GPU. Esta alteração aprimora a função `common_sampler_init` e atualiza a estrutura `llama_sampler_penalties` para herdar de `llama_sampler_backend`, permitindo ajustes de frequência e presença no backend.

A implementação inclui lógica para inicialização do backend, aplicação de penalidades e suporte para penalidades top-k na amostragem do backend.
A estabilidade numérica é aprimorada preservando os logits mascarados como -Inf para evitar a geração de NaN durante a amostragem.
A validação garante que os valores da penalidade de repetição sejam finitos e maiores que 0, com testes adicionados para parâmetros inválidos.
O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL) e arquiteturas openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10241 corrige data-races de SMEM no block_reduce do CUDA

O projeto llama.cpp lançou a versão b10241, que aborda um bug crítico no backend do CUDA. A atualização resolve as data-races que ocorriam ao reutilizar a memória compartilhada (SMEM) durante reduções em bloco.

media Hugging Face Forums · há 6 h · 1 visualização

Quesma publica mapa curado com 218 ferramentas e artigos para eficiência de custo de tokens em LLM

A Quesma lançou uma lista aberta e curada contendo 218 entradas que rastreiam onde os tokens são gastos em fluxos de trabalho de LLM e agentes. O recurso cobre monitoramento, cache semântico, modelos locais baratos, engenharia de contexto e governança de custos.

github llama.cpp · há 9 h

llama.cpp b10238 adiciona suporte para MTP no Qwen3-Next

O projeto llama.cpp lançou a compilação b10238, que introduz o suporte para Multi-Token Prediction (MTP) na família de modelos Qwen3-Next. Esta atualização inclui alterações específicas de implementação para lidar com camadas MTP e correções relacionadas à verificação de tipos do Python no código-fonte.

github llama.cpp · há 10 h · 3 visualizações

llama.cpp b10237 adiciona suporte para MTP no DeepSeek V3.2

O projeto llama.cpp lançou a compilação b10237, que introduz o suporte à Predição de Múltiplos Tókenes (MTP) para o modelo DeepSeek V3.2.

media Hugging Face Forums · há 12 h · 2 visualizações

Qxern-v6 usa tokens latentes e sidecar AST para transferência de código mais rápida e precisa

O sistema Qxern-v6 permite que dois LLMs se comuniquem por meio de 32 tokens latentes comprimidos, preservando a exatidão dos símbolos por meio de um sidecar de Árvore Sintática Abstrata (AST) determinístico adaptativo. Criado por um desenvolvedor de 15 anos, a arquitetura usa Qwen2.5-Coder-1.5B para comprimir o código e um decodificador congelado Qwen3.5-0.8B para interpretá-lo sem ver o texto bruto.