Percepta a présenté une nouvelle architecture de réseau neuronal appelée Spotlight, qui remplace les mécanismes d'attention traditionnels par un système de mémoire inscriptible et illimité. Cette conception permet aux connaissances et aux compétences du modèle de croître sans nécessiter de modifications des poids du modèle ni d'augmentation des coûts d'accès par token.
- Spotlight sépare un module d'intelligence pour le calcul de la mémoire qui contient les connaissances et les procédures.
- L'architecture est arbitrairement clairsemée, permettant à la fraction de mémoire utilisée de diminuer à mesure que la capacité augmente.
- Le modèle décide quoi charger et écraser token par token, permettant de nouvelles capacités sans réentraînement.
- Contrairement aux modèles mixture-of-experts, Spotlight accède à un petit nombre de cellules indépendamment de la taille totale de la mémoire.
Cette séparation permet au module d'intelligence de rester de taille fixe tandis que la mémoire s'agrandit, permettant théoriquement une mémoire infiniment croissante sans augmenter la surcharge computationnelle lors de l'accès.