一位研究人员正在寻求arXiv cs.CL的推荐,以发表一篇介绍简单检索重建记忆(Simple Retrieval-Reconstruction Memory, SRRM)的论文。SRRM是一个轻量级基准测试,旨在评估小型语言模型中的长上下文记忆能力。
与现有的以检索为导向的基准测试不同,SRRM联合评估了目标检索、全局信息重建以及一个名为Memory Preservation Ratio(MPR)的新指标。作者们在10–100个事实陈述的上下文负载下测试了Qwen2.5模型家族(0.5B、1.5B和3B)。
结果显示,Qwen2.5-1.5B模型在检索准确率、重建性能和MPR方面 consistently 优于更大的3B模型,这表明参数量本身并不一定能提升长上下文记忆的保持能力。