media MarkTechPost · agora mesmo · releases

Z.ai e Alibaba convergem independentemente em arquitetura de atenção linear 3:1 para GLM-5.3-Flash e Qwen3.8-Flash-Next

Traduzido do English → Português (BR)

A Z.ai lançou o GLM-5.3-Flash, um modelo MoE multimodal de 320B parâmetros com 18B parâmetros ativos, enquanto a equipe do Qwen da Alibaba lançou o Qwen3.8-Flash-Next, um modelo de 125B com 6B parâmetros ativos. Apesar do desenvolvimento independente, ambas as equipes adotaram configurações arquitetônicas quase idênticas.

Ambos os modelos usam uma combinação híbrida de camadas de atenção linear e completa na proporção de 3:1 para equilibrar eficiência e precisão.
O contexto é comprimido por um fator de 4 por meio de um indexador aprendido que limita o orçamento de atenção esparsa em 2048 tokens.
O único fluxo residual é substituído por quatro ramificações paralelas com gating para melhorar o controle de fluxo e reduzir a sobrecarga de memória.
O treinamento utiliza o otimizador Muon com matrizes de projeção fundidas divididas em transformações independentes antes da ortogonalização.
As equipes discordam sobre o codificador posicional: o GLM descarta o RoPE para usar NoPE, enquanto o Qwen manteve o RoPE após as variantes NoPE falharem em impedir a geração pós-treinamento.

Essa convergência sugere uma direção compartilhada da indústria para modelagem de contexto longo eficiente, embora a MiniMax permaneça como dissidente ao rejeitar a atenção linear devido a déficits de raciocínio.

Importância 2/3 MarkTechPost Zhipu AI Alibaba (Qwen) Inference efficiency Training methods

Artigos relacionados

arxiv arXiv cs.CL · há 50 d · 7 visualizações

Destilação do deepseek-r1:8B para o Qwen3-0.6B permite enriquecimento estruturado de texto rápido em dispositivo

Pesquisadores demonstram que destilar um professor de raciocínio de 8B (deepseek-r1:8B) em um modelo estudante de 0.6B (Qwen3-0.6B via QLoRA) permite extração estruturada em alto volume com latência e custo significativamente menores. O estudo avalia essa abordagem no mapeamento de artigos de notícias para objetos JSON contendo resumos e rótulos categóricos, comparando o modelo destilado contra linhas de base de prompting few-shot e decodificação restrita.

github llama.cpp · há 1 d · 11 visualizações

llama.cpp adiciona suporte à arquitetura Qwen3.8-Flash-Next (qwen4exp)

O projeto llama.cpp adicionou suporte à arquitetura do modelo Qwen3.8-Flash-Next (qwen4exp), implementando seus componentes específicos, incluindo hiperconexões, redes delta com gateamento, Mistura de Especialistas e embeddings de hash n-gram PLE.

lab Hugging Face Blog · há 3 d · 2 visualizações

Papers with Code usa serviços do Hugging Face para pesquisa híbrida de artigos

O Papers with Code implementou um sistema de busca híbrida que combina recuperação por palavras-chave e semântica para ajudar os usuários a encontrar artigos relevantes de pesquisa em IA. A arquitetura utiliza o Hugging Face Jobs, Storage Buckets e Inference Endpoints para gerenciar o pipeline de embeddings e atender consultas com baixa latência.

arxiv arXiv cs.LG · há 5 d · 14 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores apresentam Quantization-Aware Healing (QAH), um pipeline que destila estudantes de 4 bits diretamente de modelos não comprimidos para recuperar o desempenho perdido durante a compressão estrutural e quantização. Aplicado ao GPT-OSS 120B, este método produz Hypernova-60B, que iguala ou supera a fonte bfloat16 em 7 dos 9 benchmarks enquanto usa aproximadamente 4 vezes menos memória de peso.

arxiv arXiv cs.CL · há 5 d · 14 visualizações

Quantization-Aware Healing recupera LLMs de 4 bits mais rápido que QAT

Os autores introduzem o Quantization-Aware Healing (QAH), um método para recuperar capacidades de raciocínio e codificação em modelos de linguagem grandes de 4 bits estruturalmente comprimidos. Diferente do treinamento consciente de quantização padrão que re-ajusta o modelo comprimido, o QAH destila o estudante de 4 bits diretamente do modelo original não comprimido.