Исследователи предлагают DeLS-Spec, метод, который рассматривает фиксированную модель DFlash как эксперта по длинным контекстам, одновременно вводя легковесную локальную голову в качестве эксперта по коротким контекстам. Этот подход позволяет обучать локальную голову независимо с использованием стандартной цели предсказания следующего токена, избегая необходимости совместного обучения с целевой моделью или основой DFlash.
- DeLS-Spec объединяет логиты длинных и коротких контекстов во время вывода без привязки локальной головы к конкретному чекпоинту DFlash.
- Метод достигает крайне низких затрат на обучение за счет разделения процесса черновика.
- Эксперименты на моделях Qwen3 демонстрируют последовательные улучшения ускорения и средней длины принятия по математике, коду и диалоговым бенчмаркам по сравнению с DFlash.
Эта модульная архитектура предлагает большую гибкость и эффективность для спекулятивного декодирования без необходимости дорогостоящего переобучения моделей-черновиков.