Tencent открыла исходный код AngelSpec, нативной для torch обучающей платформы, которая поддерживает как авторегрессионное многошаговое предсказание (MTP), так и черновики семейства DFlash для моделей Hy3. Система рассматривает гетерогенность рабочих нагрузок как основное проектное ограничение, позволяя ей специализировать структуру, обучающие данные и глубину верификации в зависимости от конкретных сценариев использования.
- AngelSpec решает проблему несоответствия между обучением и выводом в MTP, используя схему с общими параметрами и многоступенчатой глубиной, где физический блок развертывается авторегрессионно во время обучения.
- Платформа использует развёртку целевой модели и замороженные параметры основы, чтобы гарантировать, что черновик аппроксимирует выбор токенов на этапе обслуживания, не изменяя распределения верификации.
- Архитектура DFly с диффузией блоков вводит гибридную условную обработку цели и авторегрессионную голову, обусловленную предшественником, для повышения коэффициента принятия в областях кода и математики.
- На Qwen3-8B DFly достигает средней длины принятых токенов 5.41, превосходя DSpark (5.32), DFlash (4.57) и MTP (3.24).
- На Hy3-A21B DFly достигает средней длины принятых токенов 4.79, что представляет собой относительное улучшение на 29.8% по сравнению с DFlash и на 59.7% по сравнению с MTP.
- Платформа поддерживает обучение с длинным контекстом до 128k токенов и включает подключаемые интерфейсы для целей, функций потерь и оптимизаторов, таких как Muon.
AngelSpec предоставляет единый конвейер для обучения шести архитектур черновиков, обеспечивая значительное ускорение пропускной способности в реальных условиях при сохранении высоких коэффициентов принятия на различных бенчмарках.