연구자들은 지시 프롬프트의 작업 관련 정보를 단일 활성화 벡터로 압축하여 대규모 언어 모델에 다시 주입함으로써 원래 토큰 시퀀스를 대체할 수 있음을 입증했습니다. 이는 중간 레이어에서 추출된 활성화의 학습된 가중 합을 초기 레이어에 주입하여 달성됩니다.

  • 압축된 벡터는 전체 프롬프트 처리 대비 2% 미만의 정확도 감소로 작업 관련 정보를 보존합니다.
  • 중간 레이어 표현이 초기 레이어로 의미 있게 전달되어 정보 인코딩 방식의 레이어 간 호환성을 시사합니다.
  • 단일 활성화 벡터는 정량화 가능하고 복원 가능한 양의 의미 정보를 인코딩합니다.
  • 활성화의 가중 합은 강력한 표현 압축기로 작용합니다.

이 접근법은 원래 토큰 시퀀스의 재처리 없이 고정된 지시 프롬프트에 대한 쿼리당 연산량을 줄입니다.