ServiceNow CoreAI 推出了 AutoSynthData,这是一个通过利用目标模型的失败和更强教师的成功来生成和验证企业代理合成训练任务的流水线。该系统通过诊断评估识别能力差距,并创建带有验证器的可执行任务以解决特定弱点。

  • 任务由系统规范、用户提示和确保可行性、真实性和难度的验证器定义。
  • “target”阶段生成核心样本,而“multiply”阶段将其扩展为新颖的变体。
  • 质量控制包括正/负验证以及针对个别候选人的基于批评的修复。
  • 批次级审查监控覆盖率和多样性,以防止简单任务家族的过度代表。

该方法将合成数据生成视为在模型能力边界附近的搜索,允许课程随着代理的改进而向剩余的难度转移。