Исследователи предлагают Mandol, систему агломеративной памяти, предназначенную для консолидации фрагментированных представлений памяти в единую архитектуру для долгосрочных диалоговых агентов. Этот подход решает проблемы высокой задержки и шума, присущие существующим системам, которые полагаются на гетерогенные векторные и графовые базы данных.
- Mandol использует иерархическую модель памяти с базовым и абстрактным уровнями, представленными в виде структурированных семантических графов.
- Система применяет агломеративную семантическую структуру данных, которая нативно объединяет структуры ключ-значение, векторные и графовые структуры.
- Она обладает количественным механизмом запросов с адаптивной маршрутизацией и генерацией контекста с ограничением по токенам без участия LLM во время извлечения.
- Эксперименты на бенчмарках LoCoMo и LongMemEval показывают, что Mandol достигает наилучшей общей точности среди репрезентативных систем памяти агентов.
- Система демонстрирует ускорение извлечения в 5.4 раза и ускорение вставки в 4.8 раза при одновременной нагрузке 10 QPS, сохраняя низкую задержку на потребительском оборудовании.
Mandol повышает точность и эффективность LLM за счет устранения межбазового ввода-вывода и обеспечения точного контроля над бюджетом токенов в процессе извлечения.