В статье представлена нейронная процедурная память (NPM), фреймворк без дообучения, который позволяет агентам больших языковых моделей использовать неявное управление активацией для процедурной памяти вместо явных текстовых инструкций. Путем дистилляции навыков из исторического опыта в векторы управления NPM напрямую активирует нейронные механизмы, релевантные задаче, для направления выполнения.
- NPM представляет память агента через неявное управление активацией, а не через руководства Retrieval-Augmented Generation (RAG).
- Процедурные навыки дистиллируются из исторического контрастного опыта в векторы управления в пространстве активаций.
- Оценка на четырех бенчмарках для агентов показывает производительность, сопоставимую с базовыми методами, использующими явные текстовые инструкции.
- Комбинация неявного управления с явными рабочими процессами обеспечивает дополнительные преимущества для более надежного выполнения задач.
- Анализ представлений указывает на то, что векторы управления кодируют последовательную логику задачи и формируют организованные структуры в пространстве активаций.
Авторы считают это значимым, поскольку это решает проблему разрыва между текстом и действием, присущую символическим методам инструкций, предлагая перспективный подход к управлению памятью агента через прямую активацию нейронных механизмов.