텐센트는 자기회귀 다중 토큰 예측(MTP)과 Hy3 모델용 블록 병렬 DFlash 계열 드래프터를 모두 지원하는 torch 네이티브 학습 프레임워크인 AngelSpec을 오픈소스로 공개했다. 이 시스템은 작업 부하의 이질성을 주요 설계 제약으로 간주하여, 특정 사용 사례에 따라 구조, 학습 데이터 및 검증 깊이를 전문화할 수 있도록 한다.

  • AngelSpec은 학습 중 물리적 블록을 자기회귀적으로 펼치는 공유 파라미터 다중 깊이 방식을 사용하여 MTP의 학습-추론 불일치를 해결한다.
  • 이 프레임워크는 타겟 모델 롤아웃과 고정된 백본 파라미터를 활용하여 검증 분포를 변경하지 않으면서도 서빙 시 토큰 선택을 근사하도록 드래프터를 보장한다.
  • DFly 블록 확산 아키텍처는 하이브리드 타겟 조건 지정과 선구자 조건 지정 자기회귀 헤드를 도입하여 코드 및 수학 도메인에서 수용률을 향상시킨다.
  • Qwen3-8B에서 DFly는 평균 수용 길이가 5.41로, DSpark(5.32), DFlash(4.57), MTP(3.24)를 능가한다.
  • Hy3-A21B에서 DFly는 평균 수용 길이 4.79를 달성하여 DFlash 대비 29.8%, MTP 대비 59.7%의 상대적 개선을 보였다.
  • 이 프레임워크는 최대 128k 토큰까지 긴 컨텍스트 학습을 지원하며, Muon과 같은 타겟, 목적 함수, 옵티마이저를 위한 플러그인 인터페이스를 포함한다.

AngelSpec은 여섯 가지 드래프트 아키텍처의 학습을 위한 통합 파이프라인을 제공하여 다양한 벤치마크에서 높은 수용률을 유지하면서 실시간 트래픽 처리량에서 상당한 속도 향상을 가능하게 한다.