Este estudio presenta transformers basados en energía como una nueva medida para predecir la dificultad de lectura humana, estableciendo un vínculo formal entre los modelos transformer y la literatura sobre memoria asociativa, como las redes de Hopfield.
- Evaluado a través de los corpus Natural Stories, seguimiento ocular de UCL y lectura autoadministrada de UCL, la medida de energía proporciona un ajuste significativo más allá de la surprisal en los tres conjuntos de datos.
- En un experimento controlado sobre el procesamiento de cláusulas relativas, la energía en una sola capa captura la conocida asimetría objeto/sujeto.
- La evidencia sugiere que la medida de energía abarca efectos atribuibles tanto a la entropía de la atención como a la surprisal, potencialmente sirviendo como un predictor unificado.
Los autores consideran esto importante porque ofrece un único predictor unificado para la dificultad de lectura donde anteriormente se requerían múltiples medidas complementarias.