ServiceNow CoreAI는 대상 모델의 실패와 더 강력한 교사 모델의 성공을 활용하여 기업 에이전트를 위한 합성 훈련 작업을 생성하고 검증하는 파이프라인인 AutoSynthData를 소개합니다. 이 시스템은 진단 평가를 통해 능력 격차를 식별하고 특정 약점을 해결하기 위해 검증자가 있는 실행 가능한 작업을 생성합니다.
- 작업은 시스템 사양, 사용자 프롬프트 및 실현 가능성, 현실성, 난이도를 보장하는 검증자에 의해 정의됩니다.
- "target" 단계는 핵심 샘플을 생성하는 반면 "multiply" 단계는 이를 새로운 변형으로 확장합니다.
- 품질 관리에는 양성/음성 검증과 개별 후보에 대한 비판 기반 수리가 포함됩니다.
- 배치 수준 검토는 커버리지와 다양성을 모니터링하여 쉬운 작업 가족의 과도한 표현을 방지합니다.
이 접근 방식은 합성 데이터 생성을 모델의 능력 경계 근처의 탐색으로 취급하며, 에이전트가 개선됨에 따라 커리큘럼이 남은 난제 쪽으로 이동하도록 허용합니다.