Los investigadores demuestran que la información relevante para la tarea en los prompts de instrucciones puede comprimirse en un único vector de activación y reintroducirse en modelos de lenguaje grandes, reemplazando la secuencia original de tokens. Esto se logra mediante una suma ponderada aprendida de activaciones extraídas en una capa intermedia e inyectadas en una capa temprana.
- El vector comprimido preserva la información relevante para la tarea con una caída de precisión inferior al 2% en comparación con el procesamiento completo del prompt.
- Las representaciones de capa media transfieren significado de manera significativa a las capas tempranas, lo que sugiere compatibilidad entre capas en cómo se codifica la información.
- Un único vector de activación codifica una cantidad cuantificable y recuperable de información semántica.
- Una suma ponderada de activaciones sirve como un compresor de representaciones robusto.
Este enfoque reduce el cómputo por consulta para prompts de instrucciones fijos sin requerir reprocesamiento de la secuencia original de tokens.