Tencent ha liberado como código abierto AngelSpec, un marco de entrenamiento nativo de torch que soporta tanto la predicción multi-token autoregresiva (MTP) como los drafters de la familia DFlash en bloque-paralelo para modelos Hy3. El sistema trata la heterogeneidad de la carga de trabajo como una restricción de diseño principal, lo que le permite especializar la estructura, los datos de entrenamiento y la profundidad de verificación según casos de uso específicos.

  • AngelSpec aborda la discrepancia entre entrenamiento e inferencia en MTP mediante un esquema compartido de parámetros y múltiples profundidades, donde el bloque físico se desenrolla autoregresivamente durante el entrenamiento.
  • El marco emplea el rollout del modelo objetivo y los parámetros congelados del backbone para asegurar que el drafter aproxime las elecciones de tokens en tiempo de servicio sin alterar las distribuciones de verificación.
  • La arquitectura DFly de difusión por bloques introduce una condición híbrida del objetivo y una cabeza autoregresiva condicionada al predecesor para mejorar las tasas de aceptación en dominios de código y matemáticas.
  • En Qwen3-8B, DFly logra una longitud media aceptada promedio de 5.41, superando a DSpark (5.32), DFlash (4.57) y MTP (3.24).
  • En Hy3-A21B, DFly alcanza una longitud media aceptada de 4.79, lo que representa ganancias relativas del 29.8% sobre DFlash y del 59.7% sobre MTP.
  • El marco soporta entrenamiento de contexto largo hasta 128k tokens e incluye interfaces enclavables para objetivos, funciones de pérdida y optimizadores como Muon.

AngelSpec proporciona una tubería unificada para entrenar seis arquitecturas de drafter, permitiendo aceleraciones significativas en el rendimiento del tráfico en vivo mientras mantiene altas tasas de aceptación a través de diversos benchmarks.