Автор разработал проект на Rust под названием SelMem для экспериментов с несовершенной, зависящей от пути памятью для больших языковых моделей. Этот подход имитирует человеческую память, позволяя агентам сжимать, забывать и восстанавливать воспоминания с течением времени, а не хранить идеальные копии взаимодействий.
- Два идентичных агента проходят одни и те же начальные взаимодействия до тех пор, пока у одного не возникнет расхождение.
- Система удаляет исходный контекст, полагаясь на сжатые и потенциально искаженные воспоминания для последующих шагов.
- Исходные данные хранятся отдельно для сравнения, но не используются при воспроизведении для проверки точности памяти.
- Цель состоит в том, чтобы определить, сохраняются ли различия в опыте после процесса селективной памяти или создают интересный шум.
Автор приглашает других исследователей, работающих с агентами LLM и памятью, попробовать опровергнуть эту идею, отмечая, что хотя полезность не доказана, эксперимент направлен на изучение того, как такие механизмы влияют на уникальность агентов.