ServiceNow CoreAI は、ターゲットモデルの失敗とより強力な教師の成功を活用して、エンタープライズエージェント用の合成トレーニングタスクを生成および検証するパイプラインである AutoSynthData を導入しました。このシステムは診断評価を通じて能力のギャップを特定し、特定の弱点に対処するために検証付きの実行可能タスクを作成します。

  • タスクはシステム仕様、ユーザープロンプト、実現可能性、現実味、難しさを保証する検証子によって定義されます。
  • 「target」フェーズがコアサンプルを生成し、「multiply」フェーズがそれらを新規な変種に拡張します。
  • 品質管理には、正/負の検証と個々の候補に対する批評駆動の修復が含まれます。
  • バッチレベルのレビューはカバレッジと多様性を監視し、簡単なタスクファミリーの過剰表現を防ぎます。

このアプローチは、合成データ生成をモデルの能力境界付近の探索として扱い、エージェントが改善されるにつれてカリキュラムが残りの難しさへとシフトすることを可能にします。