Los investigadores presentan MemOps, un benchmark que reformula la memoria conversacional como una secuencia de operaciones del ciclo de vida en lugar de depender únicamente de la precisión de la respuesta final. El marco representa cada evento de memoria con una traza estructurada que especifica desencadenantes, objetivos y transiciones de estado para desentrañar las causas heterogéneas de fallo.
- MemOps integra operaciones como recordar, olvidar y actualizar en conversaciones largas orientadas a tareas mediante un pipeline de generación controlable.
- Produce trazas doradas de operaciones junto con seis categorías de pruebas a nivel de operación evaluadas bajo configuraciones de evidencia adyacente y contexto largo.
- El benchmark revela que la recuperación a nivel de sesión supera a la recuperación a nivel de turno en los sistemas actuales.
- Los modelos de contexto largo siguen siendo notablemente débiles al reconstruir trayectorias ordenadas del estado de memoria.
Este enfoque desplaza la evaluación de la memoria a largo plazo desde la puntuación de caja negra hacia un diagnóstico interpretable a nivel de operación para evaluar mejor la fiabilidad.