media r/LocalLLaMA · há 1 d · open_models

GLM detalha sua infraestrutura de inferência em um novo post de blog

Traduzido do English → Português (BR)

A equipe do GLM publicou um artigo no blog da z.ai detalhando a arquitetura e o design de sua infraestrutura de inferência.

O artigo fornece uma visão técnica aprofundada de como o GLM lida com o serviço e a otimização de modelos.
É descrita como uma «leitura super interessante» para aqueles interessados em sistemas de implantação de modelos de linguagem grandes.

Importância 2/3 r/LocalLLaMA Zhipu AI Inference efficiency

Ler original

Z.ai e Alibaba convergem independentemente em arquitetura de atenção linear 3:1 para GLM-5.3-Flash e Qwen3.8-Flash-Next

A Z.ai lançou o GLM-5.3-Flash, um modelo MoE multimodal de 320B parâmetros com 18B parâmetros ativos, enquanto a equipe do Qwen da Alibaba lançou o Qwen3.8-Flash-Next, um modelo de 125B com 6B parâmetros ativos. Apesar do desenvolvimento independente, ambas as equipes adotaram configurações arquitetônicas quase idênticas.

lab Hugging Face Blog · há 31 d · 28 visualizações

ALTK-Evolve calibra a dosagem de memória agêntica à capacidade do modelo para melhor desempenho

Um estudo com oito modelos revela que a memória agêntica não é um recurso universal, mas uma dosagem que deve ser calibrada à capacidade específica do modelo. O framework ALTK-Evolve destila diretrizes das trajetórias passadas de um agente e as injeta no momento da inferência sem atualizações de peso, mostrando que as estratégias ótimas de memória variam significativamente entre os níveis do modelo.

github llama.cpp · há 52 d · 32 visualizações

llama.cpp b10174 adiciona suporte à decodificação especulativa NextN/MTP para GLM-5.2

O projeto llama.cpp lançou a compilação b10174, introduzindo suporte à decodificação especulativa NextN/MTP para a arquitetura do modelo GLM_DSA (GLM-5.2).

arxiv arXiv cs.CL · há 53 d · 28 visualizações

PIVOT compartilha varreduras de prefixo entre grupos de consulta para acelerar a atenção esparsa em nível de token

O PIVOT (Proxy Indexing Via One full-prefix Traversal) é uma substituição plug-and-play sem treinamento para o indexador DeepSeek Sparse Attention (DSA) que reduz a redundância computacional ao compartilhar uma única varredura de prefixo entre um grupo de consultas próximas. Em vez de pontuar cada token precedente para cada consulta individualmente, o PIVOT agrega o grupo em uma única consulta proxy para obter um conjunto de candidatos, do qual os top-k tokens são selecionados para cada consulta.

media r/LocalLLaMA · há 72 d · 21 visualizações

GLM-5.2 em 4 bits em 4× DGX Spark atinge 70,8% no Terminal-Bench 2.1

Um usuário quantizou o modelo GLM-5.2 (753B MoE) para Int4-Int8Mix com cache KV NVFP4 de 4 bits e o executou em quatro sistemas DGX Spark (GB10), alcançando uma pontuação de 70,8% no Terminal-Bench 2.1.