Исследователи демонстрируют, что релевантная для задачи информация в инструктивных промптах может быть сжата в один вектор активации путем использования обученной взвешенной суммы активаций из промежуточного слоя, которая затем повторно внедряется в ранний слой целевой LLM.

  • Метод заменяет исходную последовательность токенов сжатым вектором, вызывая снижение точности менее чем на 2% по сравнению с полной обработкой промпта.
  • Анализ показывает, что представления среднего слоя осмысленно передаются в ранние слои, что указывает на межслойную совместимость при кодировании информации.
  • Показано, что один вектор активации кодирует количественно измеримый и восстанавливаемый объем семантической информации.
  • Подход снижает вычисления на каждый запрос для фиксированных инструктивных промптов без необходимости повторной обработки исходной последовательности токенов.