Percepta представила новую архитектуру нейронной сети под названием Spotlight, которая заменяет традиционные механизмы внимания на записываемую систему памяти неограниченного размера. Такая конструкция позволяет знаниям и навыкам модели расти без необходимости изменения весов модели или увеличения стоимости доступа к каждому токену.

  • Spotlight разделяет модуль интеллекта для вычислений и память, хранящую знания и процедуры.
  • Архитектура произвольно разрежена, что позволяет уменьшать долю используемой памяти по мере роста ёмкости.
  • Модель самостоятельно решает, какие данные загружать и перезаписывать токеном за токеном, что обеспечивает появление новых возможностей без переобучения.
  • В отличие от моделей типа mixture-of-experts, Spotlight обращается к небольшому количеству ячеек независимо от общего размера памяти.

Это разделение позволяет модулю интеллекта оставаться фиксированного размера, в то время как память расширяется, что теоретически обеспечивает бесконечный рост памяти без увеличения вычислительных накладных расходов при доступе.