ServiceNow CoreAI представляет AutoSynthData, конвейер, который генерирует и проверяет синтетические обучающие задачи для корпоративных агентов, используя сбои целевой модели и успехи более сильного учителя. Система выявляет пробелы в возможностях через диагностические оценки и создает исполняемые задачи с верификаторами для устранения конкретных слабостей.

  • Задачи определяются спецификациями системы, пользовательскими запросами и верификаторами, обеспечивающими осуществимость, реалистичность и сложность.
  • Фаза "target" генерирует базовые примеры, а фаза "multiply" расширяет их в новые варианты.
  • Контроль качества включает положительную/отрицательную верификацию и критику для ремонта отдельных кандидатов.
  • Пакетный обзор контролирует покрытие и разнообразие, предотвращая чрезмерное представительство семейств легких задач.

Подход рассматривает генерацию синтетических данных как поиск вблизи границы возможностей модели, позволяя учебной программе смещаться к оставшимся трудностям по мере улучшения агента.