В данной статье представлена практическая работа по исследованию методов тренировочно-свободного релаксированного спекулятивного декодирования, которые ускоряют авторегрессионную выборку LLM с помощью вспомогательной модели для черновика токенов. Авторы объединяют существующие подходы в рамках общей системы и оценивают их на современных настройках, чтобы выделить эмпирические выводы для практиков.
- Ослабление строгого безпотерьного гарантированного стандарта спекулятивного декодирования может дать дополнительные ускорения, контролируемые компромиссы между способностями и скоростью или даже улучшения способностей.
- Оценка необходимых для релаксации возможностей более значима, чем в случае безпотерьного спекулятивного декодирования.
- Многие подходы с релаксацией опираются на черновик, который является хорошей языковой моделью, что делает их неподходящими для легких специализированных много-токенных предсказателей.
Результаты показывают, что хотя релаксация дает преимущества в производительности, она требует значительной оценки и накладывает ограничения на выбор моделей черновика.