Los investigadores proponen Mandol, un sistema de memoria aglomerativo diseñado para consolidar representaciones de memoria fragmentadas en una arquitectura unificada para agentes conversacionales a largo plazo. Este enfoque aborda los problemas de alta latencia y ruido inherentes a los sistemas existentes que dependen de bases de datos vectoriales y gráficas heterogéneas.
- Mandol utiliza un modelo de memoria jerárquico con capas básicas y abstractas representadas como grafos semánticos estructurados.
- El sistema emplea una estructura de datos semántica aglomerativa que fusiona nativamente estructuras clave-valor, vectoriales y gráficas.
- Cuenta con un mecanismo de consulta cuantitativo con enrutamiento adaptativo y generación de contexto con restricción de tokens sin involucrar LLMs durante la recuperación.
- Los experimentos en los benchmarks LoCoMo y LongMemEval muestran que Mandol logra la mejor precisión general entre los sistemas de memoria de agentes representativos.
- El sistema demuestra una aceleración de recuperación de 5.4x y una aceleración de inserción de 4.8x bajo una carga concurrente de 10 QPS mientras mantiene baja latencia en hardware de gama de consumo.
Mandol mejora la precisión y eficiencia de los LLMs eliminando la E/C entre bases de datos y proporcionando un control preciso sobre los presupuestos de tokens durante el proceso de recuperación.