Un estudio demuestra que el tiempo de procesamiento por palabra en el modelo de lenguaje de espacio de estados Mamba se alinea con los tiempos de lectura humanos. La investigación muestra que el paso de tiempo de discretización dinámica de Mamba es un predictor significativo de cuánto tardan los humanos en leer palabras, incluso controlando otros factores como la sorpresa de GPT-2.
- La transición de estado recurrente de Mamba utiliza un paso de tiempo de discretización dinámica ($Δ_t$) determinado por la entrada.
- El análisis de un conjunto de datos de lectura naturalista confirma que el paso de tiempo por palabra de Mamba predice la duración de la lectura humana.
- Este poder predictivo permanece significativo incluso cuando se controlan predictores conocidos como la sorpresa de GPT-2.
- El análisis formal sugiere que Mamba ofrece una perspectiva para estudiar el procesamiento del lenguaje en tiempo real con memoria continuamente actualizada.
Los autores sugieren que Mamba sirve como una herramienta valiosa para examinar cómo los módulos de los modelos de lenguaje ponderan la retención de información a corto y largo plazo y cómo el ruido interactúa con las representaciones de memoria continua.