Um novo preprint analisa a dinâmica dos estados ocultos em oito pequenos modelos Transformer abertos instrumentados localmente para determinar se as representações internas seguem uma progressão estruturada durante a inferência. O estudo distingue entre mudanças que ocorrem ao longo da profundidade do modelo e aquelas que evoluem ao longo do tempo de geração autoregressiva.
- A ordenação local ao longo da profundidade do modelo foi significativamente mais estruturada do que permutações aleatórias (p = 0,00019996) e manteve-se em todas as verificações leave-one-model-out.
- Os perfis de profundidade entre modelos mostraram alta coerência com uma correlação média de aproximadamente r = 0,789.
- Eventos rotulados funcionalmente foram estatisticamente associados à profundidade normalizada da camada (p = 0,0024).
- Um padrão temporal comum observado anteriormente não conseguiu ser replicado no painel expandido, sobrevivendo em 0/8 verificações leave-one-model-out.
- Modelos com resultados funcionais semelhantes ou da mesma família de arquitetura não mostraram similaridade estrutural significativa.
Os resultados sugerem que a inferência do Transformer contém uma estrutura reproduzível ao longo da profundidade, enquanto permanece altamente condicional no tempo e no comportamento, desafiando a ideia de uma dinâmica temporal universal.