Percepta ha presentado una nueva arquitectura de red neuronal llamada Spotlight, que reemplaza los mecanismos de atención tradicionales por un sistema de memoria escribible e ilimitado. Este diseño permite que el conocimiento y las habilidades del modelo crezcan sin requerir cambios en los pesos del modelo ni aumentar los costos de acceso por token.
- Spotlight separa un módulo de inteligencia para el cómputo de la memoria que almacena conocimientos y procedimientos.
- La arquitectura es arbitrariamente dispersa, lo que permite que la fracción de memoria utilizada se reduzca a medida que crece la capacidad.
- El modelo decide qué cargar y sobrescribir token por token, lo que habilita nuevas capacidades sin necesidad de reentrenamiento.
- A diferencia de los modelos mixture-of-experts, Spotlight accede a un pequeño número de celdas independientemente del tamaño total de la memoria.
Esta separación permite que el módulo de inteligencia permanezca de tamaño fijo mientras la memoria se expande, lo que teóricamente posibilita una memoria infinitamente creciente sin aumentar la sobrecarga computacional durante el acceso.