lab Tencent Hunyuan (HF) · há 1 d · releases

Tencent lança checkpoints de Simple Attention Sparsification para Qwen3

Traduzido do English → Português (BR)

A Tencent lançou checkpoints de Simple Attention Sparsification (SAS) que aprendem a classificar e selecionar blocos KV para cada consulta nos modelos Qwen3. Diferente de métodos que destilam pontuações de atenção densa, o SAS adiciona portas contínuas aos blocos selecionados, permitindo a otimização de ponta a ponta do ranking de contexto com a perda de modelagem da linguagem.

O lançamento inclui checkpoints gate-router para os modelos Qwen3-4B, Qwen3-8B e Qwen3-14B.
Estes são pesos apenas de roteador que requerem um modelo base Qwen3 público correspondente e o backend seer_attn em um fork do SGLang.
A configuração padrão de sparse-attention usa um orçamento de decodificação de 2.048 tokens, mas os checkpoints podem ser avaliados com orçamentos de 1.024, 2.048 ou 4.096 tokens sem retreinamento.

Os checkpoints permitem que os usuários sirvam uma API compatível com OpenAI usando o backend seer_attn para inferência eficiente.

Importância 1/3 Novo ambiente de avaliação com diferenciais Confiança 1/3 Tencent Hunyuan (HF) Tencent Inference efficiency Open weights

Ler original

Tencent lança AngelSpec, um framework de treinamento unificado para MTP e decodificação especulativa em bloco-paralelo

A Tencent lançou o código aberto do AngelSpec, um framework de treinamento nativo para torch que suporta tanto a previsão multi-token autoregressiva (MTP) quanto os drafters da família DFlash em bloco-paralelo para modelos Hy3. O sistema trata a heterogeneidade da carga de trabalho como uma restrição primária de design, permitindo especializar estrutura, dados de treinamento e profundidade de verificação com base em casos de uso específicos.

lab Tencent Hunyuan (HF) · há 54 d · 27 visualizações

Tencent abre o código-fonte dos modelos de tradução multilíngue Hy-MT2 e do IFMTBench

A Tencent lançou a família de modelos de tradução multilíngue "de raciocínio rápido" Hy-MT2, incluindo tamanhos de 1.8B, 7B e 30B-A3B (MoE), juntamente com o benchmark IFMTBench para avaliar capacidades de seguimento de instruções.

media r/LocalLLaMA · há 64 d · 9 visualizações

llama.cpp adiciona suporte para Hy3 com decodificação especulativa MTP

Um pull request submetido ao repositório ggml-org/llama.cpp introduz suporte para o modelo Hy3 da Tencent, especificamente a variante hy_v3. Esta atualização permite o uso da cabeça de previsão multi-tokeno do modelo como um alvo especulativo draft-mtp.

arxiv arXiv cs.AI · há 64 d · 15 visualizações

Deutsche Telekom lança Soofi S 30B-A3B para alemão e inglês

A Deutsche Telekom lançou o Soofi S 30B-A3B, um modelo base soberano de Mixture-of-Experts de código aberto, otimizado para alemão e inglês. Construído na German Industrial AI Cloud, o modelo ativa apenas 3 bilhões de seus 30 bilhões de parâmetros por token para manter um cache de inferência quase constante à medida que o contexto cresce.

arxiv arXiv cs.LG · há 64 d · 19 visualizações

Deutsche Telekom lança Soofi S 30B-A3B, um modelo MoE de código aberto para alemão e inglês

A Deutsche Telekom lançou o Soofi S 30B-A3B, um modelo base híbrido Mixture-of-Experts com Mamba Transformer, soberano e de código aberto, projetado para alemão e inglês. Construído de ponta a ponta na German Industrial AI Cloud, o modelo ativa apenas 3 bilhões de seus 30 bilhões de parâmetros por token para manter um cache de inferência quase constante à medida que o contexto cresce.