研究人员为LLM代理引入了一种推测执行方法,该方法配备推测器三个在线记忆系统以从过去的轨迹中学习,解决了现有无状态推测器的局限性。该方法利用对比转换表、情景记忆和混淆追踪器来随着时间的推移提高预测质量。
- 增强记忆的推测在动作预测基准测试中实现了19--39%的相对准确率提升。
- 在观察预测任务中,对于重复动作空间,性能最高提升了2.5倍。
- 随着记忆的不断积累,收益持续增长,并且适用于不同成本的推测器模型。
- 所有推测均在空闲时间运行,导致零额外墙钟成本且代理轨迹完全相同。
该方法通过利用历史数据来提高预测准确性,同时不影响执行速度或正确性,从而为LLM代理提供无损加速。