研究人员提出了R3Con,这是一种将认知理论原则操作化、用于构建非常大型上下文的有效表示的工具。该系统解决了在超出标准模型上下文限制的海量来源中组装相互依赖信息的挑战。

  • 在两个针对大型文档语料库推理的基准测试中,与九个基线进行了评估。
  • 分别比最强的基线高出20和8.4个百分点。
  • 使较小的模型能够超越较大的模型:R3Con配合4B和9B模型击败了所有被评估的35B基线。
  • R3Con配合35B-A3B模型在成本降低3.7倍的情况下优于使用Claude-Sonnet-5的Claude Code。

结果表明,遵循这些原则性方法的上下文表示可以减少对模型规模的依赖,指向由较小模型驱动的前沿级性能。