著者は、誤ったツール選択や不正な引数など、失敗したツール使用エージェントのトレースが、これらのエラーからモデルを遠ざけるために貴重なファインチューニングデータとして機能する可能性があるという仮説を提案しています。この投稿は、修正された失敗トレースでのトレーニングが効果的か有害かについて、コミュニティからのフィードバックを求めています。

  • 著者は、「修正された」失敗トレースの品質が、修正が検証ではなく推測に基づいているため低くなるかどうかを疑問視しています。
  • 特定された主な課題は、トレースのみから修正を導出できる失敗と、外部の正解データが必要となる失敗をどのように区別するかです。
  • 著者は、この戦略を検証するために、失敗を検出しLLaMA-Factory SFT/DPO JSONLファイルを出力するtrace2trainというCLIツールを作成しました。
  • このツールは、トレースから修正を導出できない場合、信頼性の低い誤ったラベルの作成を避けるためにトレーニングペアの生成をスキップします。

この投稿の目的は、ファインチューニングに失敗したエージェントのトレースを使用することが実用的な戦略なのか、それとも既知の悪いアイデアなのかを決定することです。