Исследователи демонстрируют, что информация, релевантная задаче, в инструктивных промптах может быть сжата в один вектор активации и повторно внедрена в большие языковые модели, заменяя исходную последовательность токенов. Это достигается с помощью обученной взвешенной суммы активаций, извлечённых на промежуточном слое и внедрённых на раннем слое.
- Сжатый вектор сохраняет информацию, релевантную задаче, со снижением точности менее чем на 2% по сравнению с полной обработкой промпта.
- Представления среднего слоя осмысленно передаются в ранние слои, что указывает на межслойную совместимость в способе кодирования информации.
- Один вектор активации кодирует измеримое и восстанавливаемое количество семантической информации.
- Взвешенная сумма активаций служит надёжным компрессором представлений.
Этот подход снижает вычисления на каждый запрос для фиксированных инструктивных промптов без необходимости повторной обработки исходной последовательности токенов.