Uma demonstração mostra que congelar os estados de chave-valor (KV) de um texto guia permite que um modelo Qwen2.5-3B-Instruct aplique novas instruções sem incluir o guia no prompt ativo. O método envolve executar o texto guia pelo modelo uma vez, congelar seu cache KV e então gerar respostas sobre esse prefixo oculto.

  • Em um teste de matemática com um operador fictício, o modelo guiado por KV calculou corretamente os resultados para números não vistos, igualando o desempenho da injeção de texto visível.
  • Em uma tarefa de extração que requer listas detalhadas, o método KV produziu saídas corretas desde o primeiro token em múltiplas sementes, enquanto a injeção visível requereu deriva significativa e tentativas sem guia falharam completamente.
  • A abordagem é descrita como um prefixo pré-compilado oculto em vez de um mecanismo computacional, oferecendo vantagens de velocidade sobre o preenchimento visível do prompt.

Esta técnica permite a transferência de conceitos e o seguimento de instruções em grandes modelos de linguagem ao aproveitar estados KV congelados em vez de contexto textual explícito.