github llama.cpp · há 1 h · inference

llama.cpp b10241 corrige data-races de SMEM no block_reduce do CUDA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10241, que aborda um bug crítico no backend do CUDA. A atualização resolve as data-races que ocorriam ao reutilizar a memória compartilhada (SMEM) durante reduções em bloco.

Corrige a falta de resync após a leitura do SMEM no block_reduce para prevenir data-races.
Implementa double-buffering para operações de softmax e normalização de linha única.
Adiciona comentários explicativos e barreiras de memória especificamente para cenários multi-warp.
Fornece binários para macOS, Linux, Windows, Android e iOS através de CPU, CUDA, Vulkan, ROCm e outros backends.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Quesma publica mapa curado com 218 ferramentas e artigos para eficiência de custo de tokens em LLM

A Quesma lançou uma lista aberta e curada contendo 218 entradas que rastreiam onde os tokens são gastos em fluxos de trabalho de LLM e agentes. O recurso cobre monitoramento, cache semântico, modelos locais baratos, engenharia de contexto e governança de custos.

github llama.cpp · há 7 h

llama.cpp b10238 adiciona suporte para MTP no Qwen3-Next

O projeto llama.cpp lançou a compilação b10238, que introduz o suporte para Multi-Token Prediction (MTP) na família de modelos Qwen3-Next. Esta atualização inclui alterações específicas de implementação para lidar com camadas MTP e correções relacionadas à verificação de tipos do Python no código-fonte.

github llama.cpp · há 8 h · 3 visualizações

llama.cpp b10237 adiciona suporte para MTP no DeepSeek V3.2

O projeto llama.cpp lançou a compilação b10237, que introduz o suporte à Predição de Múltiplos Tókenes (MTP) para o modelo DeepSeek V3.2.

media Hugging Face Forums · há 10 h · 2 visualizações

Qxern-v6 usa tokens latentes e sidecar AST para transferência de código mais rápida e precisa

O sistema Qxern-v6 permite que dois LLMs se comuniquem por meio de 32 tokens latentes comprimidos, preservando a exatidão dos símbolos por meio de um sidecar de Árvore Sintática Abstrata (AST) determinístico adaptativo. Criado por um desenvolvedor de 15 anos, a arquitetura usa Qwen2.5-Coder-1.5B para comprimir o código e um decodificador congelado Qwen3.5-0.8B para interpretá-lo sem ver o texto bruto.

github llama.cpp · há 11 h · 6 visualizações

llama.cpp b10236 implementa o Metal DSv4 Lightning Indexer

A versão llama.cpp b10236 introduz uma implementação de Metal do DSv4 Lightning Indexer, suportando especificamente entradas de 128 dimensões com consultas e pesos F32 junto com chaves e máscaras F16.