Una nueva preimpresión analiza la dinámica de los estados ocultos en ocho pequeños modelos Transformer abiertos instrumentados localmente para determinar si las representaciones internas siguen una progresión estructurada durante la inferencia. El estudio distingue entre los cambios que ocurren a lo largo de la profundidad del modelo y aquellos que evolucionan durante el tiempo de generación autoregresiva.

  • El ordenamiento local a lo largo de la profundidad del modelo fue significativamente más estructurado que las permutaciones aleatorias (p = 0.00019996) y se mantuvo en todas las verificaciones de dejar un modelo fuera.
  • Los perfiles de profundidad entre modelos mostraron alta coherencia con una correlación media de aproximadamente r = 0.789.
  • Los eventos etiquetados funcionalmente estuvieron estadísticamente asociados con la profundidad normalizada de la capa (p = 0.0024).
  • Un patrón temporal común previamente observado no se replicó en el panel expandido, sobreviviendo a 0/8 verificaciones de dejar un modelo fuera.
  • Los modelos con resultados funcionales similares o de la misma familia de arquitecturas no mostraron una similitud estructural significativa.

Los resultados sugieren que la inferencia Transformer contiene una estructura reproducible a lo largo de la profundidad mientras permanece altamente condicional en el tiempo y el comportamiento, desafiando la idea de una dinámica temporal universal.