github llama.cpp · há 1 h · inference

llama.cpp b10178 adiciona registro de rastreamento para verificação de similaridade de slots

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10178, que introduz registro de rastreamento para verificação de similaridade de slots dentro do componente do servidor. Esta atualização adiciona registro detalhado em `server-context.cpp` durante a seleção de slot de cache de prompts, capturando especificamente motivos de salto e detalhes do cálculo de similaridade.

O lançamento fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu com backends de CPU, Vulkan, ROCm, OpenVINO e SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler. O suporte do KleidiAI para macOS Apple Silicon está desativado nesta compilação.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10174 adiciona suporte à decodificação especulativa NextN/MTP para GLM-5.2

O projeto llama.cpp lançou a compilação b10174, introduzindo suporte à decodificação especulativa NextN/MTP para a arquitetura do modelo GLM_DSA (GLM-5.2).

media Together AI Blog · há 16 h

Together AI explica roteamento consciente de capacidade para inferência dedicada de modelos

A Together AI detalha a arquitetura de sua plataforma de Inferência Dedicada de Modelos, que conecta endpoints, implantações e configurações imutáveis por meio de uma divisão de tráfego consciente da capacidade. Este sistema roteia solicitações com base na capacidade efetiva (peso multiplicado por réplicas prontas) em vez de porcentagens fixas, permitindo recursos como lançamentos sem tempo de inatividade e testes A/B.

media Hugging Face Forums · há 17 h

Gráficos de Memoria Ponderados por Atenção usam atenção da Jina para travessia de graph-RAG

Uma nova proposta descreve uma estrutura de memória LLM que combina chunking tardio com arestas ponderadas por atenção para permitir travessia passo a passo. O sistema utiliza o modelo de embedding da Jina AI, que calcula a atenção entre sentenças, para derivar os pesos das arestas do processamento interno do documento.

github llama.cpp · há 17 h

llama.cpp b10171 corrige saída de lixo em multi-stream OpenCL do Adreno

O lançamento llama.cpp b10171 corrige um bug crítico nos kernels de imagem Adreno KQ/KQV que causava saída de lixo durante lotes de múltiplas sequências. O problema surgiu porque esses kernels ignoravam a dimensão 3, levando a leituras incorretas ao usar o cache KV unificado com vários streams.

media r/LocalLLaMA · há 18 h

Microsoft lança Mage-VL, um modelo multimodal de streaming nativo para codec

A Microsoft lançou o Mage-VL, um modelo de fundação multimodal eficiente com 4B de parâmetros para compreensão de imagens e vídeos que utiliza uma abordagem nativa para codec a fim de simplificar o processamento visual. O sistema separa os fluxos de vídeo em quadros âncora (I) e quadros previstos (P), retendo apenas os patches onde o codec aloca bits, reduzindo o consumo de tokens visuais em mais de 75%.