Percepta는 전통적인 어텐션 메커니즘을 기록 가능한 무제한 메모리 시스템으로 대체하는 새로운 신경망 아키텍처인 Spotlight를 소개했습니다. 이 설계는 모델의 가중치를 변경하거나 토큰당 접근 비용을 증가시키지 않고도 모델의 지식과 기술을 성장시킬 수 있게 합니다.

  • Spotlight는 계산을 위한 지능 모듈과 지식 및 절차를 저장하는 메모리를 분리합니다.
  • 아키텍처는 임의로 희소(arbitrarily sparse)하여 용량이 증가함에 따라 사용된 메모리의 비율을 줄일 수 있습니다.
  • 모델은 토큰 단위로 무엇을 로드하고 덮어쓸지 결정하므로 재학습 없이 새로운 기능을 활성화할 수 있습니다.
  • mixture-of-experts 모델과 달리 Spotlight는 총 메모리 크기와 관계없이 소수의 셀만 접근합니다.

이러한 분리는 지능 모듈의 크기를 고정된 상태로 유지하면서 메모리가 확장되도록 하여, 이론적으로 접근 시 계산 오버헤드를 증가시키지 않고도 무한히 성장하는 메모리를 가능하게 합니다.