A Tencent lançou o código aberto do AngelSpec, um framework de treinamento nativo para torch que suporta tanto a previsão multi-token autoregressiva (MTP) quanto os drafters da família DFlash em bloco-paralelo para modelos Hy3. O sistema trata a heterogeneidade da carga de trabalho como uma restrição primária de design, permitindo especializar estrutura, dados de treinamento e profundidade de verificação com base em casos de uso específicos.
- O AngelSpec aborda o descompasso entre treinamento e inferência no MTP usando um esquema multi-profundidade de parâmetros compartilhados, onde o bloco físico é desenrolado autoregressivamente durante o treinamento.
- O framework emprega rollout do modelo alvo e parâmetros congelados do backbone para garantir que o drafter aproxime as escolhas de tokens em tempo de serviço sem alterar as distribuições de verificação.
- A arquitetura DFly de difusão de blocos introduz condicionamento híbrido ao alvo e uma cabeça autoregressiva condicionada ao predecessor para melhorar as taxas de aceitação nos domínios de código e matemática.
- No Qwen3-8B, o DFly alcança um comprimento médio aceito de 5.41, superando DSpark (5.32), DFlash (4.57) e MTP (3.24).
- No Hy3-A21B, o DFly atinge um comprimento médio aceito de 4.79, representando ganhos relativos de 29,8% sobre o DFlash e 59,7% sobre o MTP.
- O framework suporta treinamento de contexto longo até 128k tokens e inclui interfaces plugáveis para alvos, objetivos e otimizadores como Muon.
O AngelSpec fornece um pipeline unificado para treinar seis arquiteturas de drafter, permitindo acelerar significativamente a taxa de transferência no tráfego real enquanto mantém altas taxas de aceitação em diversos benchmarks.