Les chercheurs présentent MemOps, un benchmark qui reformule la mémoire conversationnelle comme une séquence d'opérations de cycle de vie plutôt que de s'appuyer uniquement sur la précision de la réponse finale. Le cadre représente chaque événement de mémoire par une trace structurée spécifiant les déclencheurs, les cibles et les transitions d'état pour dissocier les causes hétérogènes d'échec.
- MemOps intègre des opérations telles que le rappel, l'oubli et la mise à jour dans des conversations orientées tâches de longue durée à l'aide d'un pipeline de génération contrôlable.
- Il produit des traces d'opération or (gold) ainsi que six catégories de sondes au niveau des opérations évaluées dans des paramètres de preuve adjacente et de contexte long.
- Le benchmark révèle que la récupération au niveau de la session surpasse la récupération au niveau du tour dans les systèmes actuels.
- Les modèles à contexte long restent notablement faibles pour reconstituer les trajectoires d'état de mémoire ordonnées.
Cette approche fait passer l'évaluation de la mémoire à long terme de la notation boîte noire vers un diagnostic au niveau des opérations interprétable afin d'évaluer mieux la fiabilité.