著者は、タスクカバレッジと忠実性の制限に対処する、長期コンテキスト教師ありファインチューニングデータを合成するための構造化フレームワークであるLongCrafterを提案する。これは32のタスクタイプの階層型分類体系と、検出された証拠スパンに厳密に根ざした指示応答ペアを生成するための証拠接地パイプラインを結合している。

  • LongCrafterデータでファインチューニングされたモデルは、Qwen2.5-7BおよびLLaMA-3.1-8Bにおいて、LongBench、LongBench v2、LooGLEのすべてのSFTベースラインおよび公式ポストトレーニングモデルを上回る。
  • このアプローチは高難易度タスクで最大の改善をもたらし、より多様で難易度レベル全体にわたって適切に分散したデータを生成する。
  • 訓練されたモデルは位置に関係なく証拠を堅牢に特定し、「真ん中で失われる」問題を効果的に緩和する。

LongCrafterは制御可能な難易度と忠実で追跡可能な推論を保証し、大規模言語モデルの長期コンテキスト理解を強化するためのスケーラブルな方法を提供する。