作者提出了MILES（Modular Instruction Memory with LEarnable Selection），这是一个旨在通过动态积累可重用经验来改善大语言模型在测试时推理能力的框架，这些经验是在顺序到达的问题中积累的。与存储刚性模板或使用启发式选择现有方法不同，MILES维护由非对称子目标嵌入和子指令对组成的模块化记忆单元，每个单元都与一个可学习的选择头相关联。

  • 该框架采用由粗到细的检索机制，其中粗粒度级别支持记忆扩展并从高置信度样本中收集监督信号。
  • 细粒度阶段应用学习到的选择头对候选项进行重排序，并指导不确定样本的推理。
  • 这种方法允许在有限的监督下，在实际测试时约束条件下进行增量式记忆扩展。

大量实验表明，MILES始终与先前方法持平或优于它们，同时实现了更优的精度-效率权衡、鲁棒性和可迁移性。