研究者らは、CurateEvoを提案した。これは反復的なデータキュレーションを通じて大規模言語モデルエージェントの長期ホライズン意思決定を改善するために設計された、失敗駆動型の動的進化フレームワークである。キュレーションを固定された前処理ステップとして扱う従来の手法とは異なり、CurateEvoは戦略を実行可能なコードとして表現し、保持された開発セットからの失敗した軌道を用いてそれらを書き換える。

  • このフレームワークは反復的にキュレーション戦略を書き換え、再発する失敗モードを診断し、それに応じてデータを拡張、フィルタリング、または精緻化する。
  • 各エポックで、生データコーパスを教師ありファインチューニング用データ、強化学習用データ、および推論時のメモリバンクに変換する。
  • コスト認識型の目的関数が、効率を向上させるために冗長または低有用性のトレーニングターンをプルーニングする。
  • ACEBench-Agent、BFCL-V4、τ^2-Benchでの実験により、CurateEvoが既存の手法を上回り、平均スコアをそれぞれ3.2ポイントおよび2.7ポイント改善することが示された。

著者らは、CurateEvoが異なるポストトレーニングレシピと互換性があり、キュレーションのオーバーヘッドを大幅に削減することに注意している。