研究人员提出 Highlight-Then-Summarize (H2S),这是一种“先压缩后推理”的范式,能够识别与问题相关的证据,并在生成答案前将其整合为紧凑的摘要。为支持该方法,团队构建了包含来自11个基准系列的6,647个示例的 H2S-Dataset,并引入了用于过程级奖励的 H2S-RL。

  • 在共享128K输入和4K输出预算下,H2S-14B 在 H2S-Bench 上取得32.60的平均分。
  • 该模型比 Qwen3.8-27B 高出10.17分,在已评估的开源模型中取得了最强的整体结果。
  • H2S-14B 仅使用4K输出预算时,仍保留了其16K预算性能的97.1%,同时获得了最高的 Evidence-Summary Quality 分数。

这些结果表明,显式选择和整合证据能够提升长上下文推理能力,并实现更紧凑的生成。