Los investigadores demuestran que la información relevante para la tarea en los prompts de instrucciones puede comprimirse en un único vector de activación utilizando una suma ponderada aprendida de las activaciones de una capa intermedia, que luego se reintroduce en una capa temprana del LLM objetivo.
- El método reemplaza la secuencia original de tokens con el vector comprimido, incurriendo en una caída de precisión inferior al 2% en comparación con el procesamiento completo del prompt.
- El análisis revela que las representaciones de la capa media transfieren significativamente a las capas tempranas, lo que indica compatibilidad entre capas en la codificación de información.
- Se muestra que un único vector de activación codifica una cantidad cuantificable y recuperable de información semántica.
- El enfoque reduce el cómputo por consulta para prompts de instrucciones fijos sin requerir reprocesamiento de la secuencia original de tokens.