Pesquisadores demonstram que informações relevantes para a tarefa em prompts de instrução podem ser comprimidas em um único vetor de ativação e reinjetadas em grandes modelos de linguagem, substituindo a sequência original de tokens. Isso é alcançado usando uma soma ponderada aprendida de ativações extraídas em uma camada intermediária e injetadas em uma camada inicial.
- O vetor comprimido preserva informações relevantes para a tarefa com uma queda de precisão inferior a 2% em relação ao processamento completo do prompt.
- Representações de camada intermediária transferem significado de forma significativa para camadas iniciais, sugerindo compatibilidade entre camadas na forma como as informações são codificadas.
- Um único vetor de ativação codifica uma quantidade quantificável e recuperável de informação semântica.
- Uma soma ponderada de ativações serve como um compressor de representação robusto.
Esta abordagem reduz o cálculo por consulta para prompts de instrução fixos sem exigir reprocesamento da sequência original de tokens.