AdaSpark — это планировщик для блок-черновиков, таких как DSpark, который обучается определять ширину проверки и вероятности принятия во время обслуживания без предварительного профилирования или калибровки. Он аппроксимирует время проверки как функцию от контекста и вероятности принятия кандидата на основе результатов целевой модели, позволяя черновым и текстово-производным кандидатам конкурировать в едином порядке best-first.
- На шести публичных наборах данных с тремя плотными целевыми моделями и одной целевой моделью типа mixture-of-experts AdaSpark декодирует в 1.5–3.1 раза быстрее, чем DSpark от llama.cpp при использовании тех же черновиков.
- Дви imparo с AdaSpark работает в 1.17–1.52 раза быстрее, чем при использовании стандартной цепочки из трёх токенов; этот прирост обусловлен исключительно планировщиком.
- Без поиска по ширине производительность остаётся в пределах 0.3% от лучшей зафиксированной ширины дерева на плотных целевых моделях и достигает лучшей зафиксированной ширины на моделях типа mixture-of-experts.
Этот подход устраняет необходимость в офлайн-калибровке или поиске по ширине, обеспечивая значительное ускорение по сравнению со стандартными методами планирования.