作者提出一个假设：失败的调用工具智能体轨迹（例如错误的工具选择或格式错误的参数）可以作为有价值的微调数据，用于训练模型避免此类错误。该帖子旨在征求社区反馈，了解基于修正后的失败轨迹进行训练是有效还是有害。

  • 作者质疑“修正后”的失败轨迹质量是否较低，因为修复方案是基于推断而非验证得出的。
  • 已识别的一个关键挑战是确定哪些失败的案例其修复方案仅从轨迹中即可推导，而哪些需要外部真实标签。
  • 作者构建了一个名为 trace2train 的 CLI 工具来测试这一假设，该工具通过检测失败并输出 LLaMA-Factory SFT/DPO JSONL 文件来实现。
  • 当无法从轨迹中推导出修复方案时，该工具会跳过生成训练对，以避免创建自信的错误标签。

该帖子的目标是确定使用失败的智能体轨迹进行微调是一种可行的策略还是一个已知的糟糕想法。