github llama.cpp · há 1 h · inference

llama.cpp b10171 corrige saída de lixo em multi-stream OpenCL do Adreno

Traduzido do English → Português (BR)

O lançamento llama.cpp b10171 corrige um bug crítico nos kernels de imagem Adreno KQ/KQV que causava saída de lixo durante lotes de múltiplas sequências. O problema surgiu porque esses kernels ignoravam a dimensão 3, levando a leituras incorretas ao usar o cache KV unificado com vários streams.

Encaminha tensores com ne03/ne13 > 1 para o caminho geral que lida corretamente com a dim 3.
Respeita view_offs ao criar sub-buffers para evitar leituras erradas silenciosas.
Corrige as pontuações de perplexidade nos dispositivos Adreno 740 e 840, reduzindo a PPL de ~1940 para ~15.6 no Llama-3.2-1B-Instruct Q4_0.
Inclui binários para macOS, iOS, Linux, Android, Windows e openEuler em CPUs, GPUs e backends especializados.

Esta correção garante resultados de inferência corretos em dispositivos Adreno onde o Flash Attention está desabilitado ou indisponível, impedindo a degradação do desempenho em configurações de servidor multi-slot.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Together AI explica roteamento consciente de capacidade para inferência dedicada de modelos

A Together AI detalha a arquitetura de sua plataforma de Inferência Dedicada de Modelos, que conecta endpoints, implantações e configurações imutáveis por meio de uma divisão de tráfego consciente da capacidade. Este sistema roteia solicitações com base na capacidade efetiva (peso multiplicado por réplicas prontas) em vez de porcentagens fixas, permitindo recursos como lançamentos sem tempo de inatividade e testes A/B.

media Hugging Face Forums · há 1 h Ao vivo

Gráficos de Memoria Ponderados por Atenção usam atenção da Jina para travessia de graph-RAG

Uma nova proposta descreve uma estrutura de memória LLM que combina chunking tardio com arestas ponderadas por atenção para permitir travessia passo a passo. O sistema utiliza o modelo de embedding da Jina AI, que calcula a atenção entre sentenças, para derivar os pesos das arestas do processamento interno do documento.

media r/LocalLLaMA · há 3 h

Microsoft lança Mage-VL, um modelo multimodal de streaming nativo para codec

A Microsoft lançou o Mage-VL, um modelo de fundação multimodal eficiente com 4B de parâmetros para compreensão de imagens e vídeos que utiliza uma abordagem nativa para codec a fim de simplificar o processamento visual. O sistema separa os fluxos de vídeo em quadros âncora (I) e quadros previstos (P), retendo apenas os patches onde o codec aloca bits, reduzindo o consumo de tokens visuais em mais de 75%.

lab Hugging Face Blog · há 4 h

Ai2 lança a Plataforma OlmoEarth para inferência geoespacial em escala planetária

A Ai2 lançou a Plataforma OlmoEarth, um sistema de infraestrutura projetado para levar modelos fundamentais de observação da Terra do ajuste fino até a inferência em larga escala. A plataforma aborda os desafios de engenharia do processamento de terabytes de dados multimodais de satélite entre múltiplos provedores e resoluções.

github llama.cpp · há 5 h

llama.cpp b10165 adiciona suporte iq4_nl e q1_0 ao Vulkan FA

O projeto llama.cpp lançou a compilação b10165, que restaura o suporte à quantização iq4_nl para o backend Flash Attention (FA) do Vulkan. Esta alteração aborda a questão #23681 reativando o recurso após as preocupações sobre o uso de memória compartilhada serem consideradas insignificantes.