Проект vLLM выпустил версию 0.28.0rc2, которая включает функцию спекулятивного декодирования DFlash2.
- DFlash2 реализует механизм локальной свёртки для эффективной генерации токенов.
- Обновление вводит выделенный селектор кандидатов для улучшения процесса spec decode.
- Это изменение было cherry-picked из коммита b389ac2 и подписано khluu.