Pesquisadores demonstram que a informação relevante para a tarefa em prompts de instrução pode ser comprimida em um único vetor de ativação usando uma soma ponderada aprendida das ativações de uma camada intermediária, que é então reinjetada em uma camada inicial do LLM alvo.

  • O método substitui a sequência original de tokens pelo vetor comprimido, causando uma queda de precisão inferior a 2% em relação ao processamento completo do prompt.
  • A análise revela que as representações da camada intermediária transferem significativamente para as camadas iniciais, indicando compatibilidade entre camadas na codificação de informação.
  • É mostrado que um único vetor de ativação codifica uma quantidade quantificável e recuperável de informação semântica.
  • A abordagem reduz o cálculo por consulta para prompts de instrução fixos sem exigir reprocessamento da sequência original de tokens.