DSpark — это фреймворк спекулятивного декодирования, предназначенный для ускорения вывода больших языковых моделей (LLM) за счёт сочетания полуавторегрессионного генерирования черновиков с адаптивной проверкой, учитывающей нагрузку. Он решает проблемы снижения принятия и падения пропускной способности, наблюдаемые в существующих параллельных генераторах черновиков.
- DSpark использует полуавторегрессионную архитектуру, которая связывает параллельное ядро с лёгким последовательным модулем для моделирования внутриблоковых зависимостей.
- Система применяет проверку по расписанию уверенности, динамически подстраивая длину проверки на основе вероятностей выживания префикса и профилей пропускной способности.
- На офлайн-бенчмарках DSpark существенно увеличивает принятую длину по сравнению с передовыми авторегрессионными и параллельными генераторами черновиков.
- В системе обслуживания DeepSeek-V4 под реальной нагрузкой DSpark ускоряет скорость генерации на пользователя на 60–85 процентов по сравнению с базовой линией MTP-1.
Предотвращая растрачивание ресурсов на проверку и смягчая падение пропускной способности в условиях строгих ограничений интерактивности, DSpark позволяет достичь уровней производительности, ранее недоступных в производственных средах.