Los investigadores identificaron en Llama-3.1-70B-Instruct un «subcircuito de cuenta regresiva» que permite a los modelos de lenguaje rastrear los tokens restantes en diversas tareas, como escribir oraciones de longitud fija o formatear tablas.
El estudio aísla este mecanismo en un entorno controlado y descubre que utiliza un motivo idéntico previamente descubierto en otros LLM de vanguardia, lo que sugiere que la estructura es compartida entre modelos. La sonda no supervisada en conjuntos de datos de lenguaje natural revela que el subcircuito maneja tareas donde las longitudes objetivo se infieren del contexto en lugar de declararse explícitamente.
Este trabajo demuestra que la ingeniería inversa de subcircuitos ayuda a explicar cómo comportamientos específicos se generalizan desde ejemplos individuales hacia diversas tareas y diferentes modelos.