A Percepta apresentou uma nova arquitetura de rede neural chamada Spotlight, que substitui os mecanismos tradicionais de atenção por um sistema de memória gravável e ilimitado. Este design permite que o conhecimento e as habilidades do modelo cresçam sem exigir alterações nos pesos do modelo ou aumento dos custos de acesso por token.
- A Spotlight separa um módulo de inteligência para computação da memória que armazena conhecimentos e procedimentos.
- A arquitetura é arbitrariamente esparsa, permitindo que a fração de memória usada diminua à medida que a capacidade cresce.
- O modelo decide o que carregar e sobrescrever token por token, habilitando novas capacidades sem necessidade de retreinamento.
- Diferente dos modelos mixture-of-experts, a Spotlight acessa um pequeno número de células independentemente do tamanho total da memória.
Essa separação permite que o módulo de inteligência permaneça de tamanho fixo enquanto a memória se expande, teoricamente permitindo uma memória infinitamente crescente sem aumentar a sobrecarga computacional durante o acesso.