研究人员提出Highlight-Then-Summarize (H2S),这是一种先压缩后推理的范式,它识别与问题相关的证据,并在生成答案之前将其整合为紧凑的摘要。团队构建了包含6,647个示例的H2S-Dataset,并引入H2S-RL为证据选择提供过程级奖励。

  • 在共享128K输入和4K输出预算下,H2S-14B在七任务H2S-Bench套件上平均得分为32.60。
  • 该模型比Qwen3.8-27B高出10.17分,在已评估的开源模型中取得最强的整体结果。
  • H2S-14B仅用4K输出预算就保留了其16K预算性能的97.1%,同时取得了最高的Evidence-Summary Quality得分。

这些结果表明,显式选择和整合证据能够改善长上下文推理,同时实现更紧凑的生成。