Исследователи предлагают SATS (пороговую обработку с учётом чувствительности для разреженности) и лёгкую инфраструктуру маршрутизации токенов для оптимизации вывода в больших языковых моделях. SATS заменяет калибровку на основе перцентилей прокси-значением локальной чувствительности выхода MLP для определения порогов вентилей на уровне слоя, в то время как инфраструктура маршрутизации динамически выбирает пути вычислений для каждого токена.
- SATS использует правило выбора с учётом чувствительности вместо перцентилей активаций для калибровки порога.
- Маршрутизация токенов динамически выбирает между базовыми и модифицированными путями на уровне отдельного токена.
- Оценка на нескольких LLM с открытым весом показывает, что SATS превосходит базовые методы разрежения на основе порогов при одинаковой фактической разреженности.
- Маршрутизация токенов обеспечивает более выгодный компромисс между качеством и пропускной способностью по сравнению с базовыми методами статической модификации активаций.
Авторы приходят к выводу, что улучшенная калибровка порогов и маршрутизация токенов могут повысить качество-пропускную способность компромисса в LLM.