作者提出了LongCrafter，这是一个用于合成具有长上下文监督微调数据的结构化框架，旨在解决任务覆盖范围和忠实度方面的局限性。它将包含32种任务类型的分层分类法与基于证据的流水线相结合，生成严格基于定位到的证据片段的指令-响应对。

  • 在Qwen2.5-7B和LLaMA-3.1-8B上，使用LongCrafter数据微调的模型在LongBench、LongBench v2和LooGLE上的表现优于所有SFT基线和官方后训练模型。
  • 该方法在高难度任务上取得了最大的提升，并生成了更具多样性且在不同难度级别上分布更好的数据。
  • 训练后的模型无论证据位置如何都能稳健地定位证据，有效缓解了“迷失在中间”的问题。

LongCrafter确保了可控的难度和忠实、可追溯的推理，为增强大型语言模型的长上下文理解提供了一种可扩展的方法。