研究人员推出了MemOps，这是一个将对话内存重新表述为一系列生命周期操作的基准，而非仅依赖最终答案的准确性。该框架使用指定触发器、目标和状态转换的结构化轨迹来表示每个内存事件，以解耦异构的失败原因。

  • MemOps通过可控生成管道，将记忆、遗忘和更新等操作嵌入到长程任务导向对话中。
  • 它生成黄金操作轨迹以及六类操作级探针，在相邻证据和长上下文设置下进行评估。
  • 该基准揭示，在当前系统中，会话级检索优于轮次级检索。
  • 长上下文模型在重建有序内存状态轨迹方面仍然明显薄弱。

这种方法将长期内存评估从黑盒评分转向可解释的操作级诊断，以更好地评估可靠性。