Практическое исследование рассматривает тренировочно-свободное релаксированное спекулятивное декодирование, которое ускоряет авторегрессионную выборку LLM с помощью более быстрой вспомогательной модели для черновика токенов, которые затем проверяются параллельно. Исследование объединяет существующие подходы в рамках общей структуры и оценивает их на современных настройках, чтобы выделить эмпирические выводы для практиков.
- Релаксация строгой гарантии без потерь может дать дополнительные ускорения, контролируемые компромиссы между способностью и скоростью или даже прирост способности.
- Оценка способности требуется для релаксированных методов, в отличие от стандартного спекулятивного декодирования без потерь.
- Многие релаксированные подходы полагаются на черновик, который является хорошей языковой моделью, что делает их неподходящими для легких специализированных много-токенных предсказателей.