연구자들은 지시 프롬프트의 작업 관련 정보를 중간 레이어의 활성화에 대한 학습된 가중 합을 사용하여 단일 활성화 벡터로 압축한 후 이를 대상 LLM의 초기 레이어에 다시 주입할 수 있음을 입증했습니다.

  • 이 방법은 원래 토큰 시퀀스를 압축된 벡터로 대체하며, 전체 프롬프트 처리 대비 2% 미만의 정확도 감소를 초래합니다.
  • 분석 결과 중간 레이어 표현이 의미 있게 초기 레이어로 전달되어 정보 인코딩 간 레이어 호환성이 나타납니다.
  • 단일 활성화 벡터가 정량화 가능하고 복원 가능한 양의 의미 정보를 인코딩할 수 있음이 보입니다.
  • 이 접근 방식은 원래 토큰 시퀀스의 재처리 없이 고정된 지시 프롬프트에 대한 쿼리당 연산을 줄입니다.