Исследователи представляют MemOps, бенчмарк, который переформулирует диалоговую память как последовательность операций жизненного цикла, а не полагается исключительно на точность финального ответа. Фреймворк представляет каждое событие памяти в виде структурированного трека, указывающего триггеры, цели и переходы состояний, чтобы разделить гетерогенные причины сбоев.
- MemOps внедряет такие операции, как запоминание, забывание и обновление, в длинные диалоги, ориентированные на задачи, с помощью управляемого конвейера генерации.
- Он создает эталонные треки операций вместе с шестью категориями зондов на уровне операций, оцениваемых в условиях смежных доказательств и длинного контекста.
- Бенчмарк показывает, что извлечение на уровне сеанса превосходит извлечение на уровне реплики в текущих системах.
- Модели с длинным контекстом остаются заметно слабыми при восстановлении упорядоченных траекторий состояний памяти.
Этот подход перемещает оценку долгосрочной памяти от оценки «черного ящика» к интерпретируемому диагнозу на уровне операций для более точной оценки надежности.