데모는 가이드 텍스트에서 키-값 (KV) 상태를 고정하면 Qwen2.5-3B-Instruct 모델이 라이브 프롬프트에 가이드를 포함하지 않고도 새 지침을 적용할 수 있음을 보여줍니다. 이 방법은 모델을 통해 가이드를 한 번 실행하고, 그 KV 캐시를 고정한 다음, 해당 숨겨진 접두사 위에서 응답을 생성하는 것을 포함합니다.

  • 가상의 연산자가 있는 수학 테스트에서 KV 유도 모델은 보지 못한 숫자에 대한 결과를 올바르게 계산하여 가시적 텍스트 주입의 성능과 일치했습니다.
  • 항목별 목록이 필요한 추출 작업에서 KV 방법은 여러 시드에서 첫 번째 토큰부터 올바른 출력을 생성한 반면, 가시적 주입은 상당한 드리프트가 필요했고 가이드 없는 시도는 완전히 실패했습니다.
  • 이 접근 방식은 계산 메커니즘이 아닌 숨겨진 사전 컴파일된 접두사로 설명되며, 가시적 프롬프트 패딩보다 속도 이점을 제공합니다.

이 기술은 명시적 텍스트 컨텍스트 대신 고정된 KV 상태를 활용하여 대규모 언어 모델에서 개념 이전과 지침 준수를 가능하게 합니다.